[論文レビュー] Query Understanding for Natural Language Enterprise Search

Francisco Borges, Georgios Balikas+6 more|arXiv (Cornell University)|Dec 11, 2020

Topic Modeling参考文献 29被引用数 4

ひとこと要約

この論文は、大手CRMプラットフォーム向けに本番環境で利用可能な自然言語検索（NLS）システムを提示する。このシステムは、深層学習ベースの名前付きエンティティ認識（NER）とルールベースのエキスパートシステム、文法ベースのクエリ提案エンジンを組み合わせたハイブリッドアーキテクチャを採用しており、ユーザーの作業負荷を顕著に低減する。ユーザー研究では、ナビゲーション検索と比較してNLSが50％以上の時間を削減することが示された。自然言語クエリにより動的にレコードを取得可能となるが、特に合成トレーニングデータ生成と企業環境の制約に配慮した堅牢なモデルライフサイクル管理という、主なイノベーションを有する。

ABSTRACT

Natural Language Search (NLS) extends the capabilities of search engines that perform keyword search allowing users to issue queries in a more "natural" language. The engine tries to understand the meaning of the queries and to map the query words to the symbols it supports like Persons, Organizations, Time Expressions etc.. It, then, retrieves the information that satisfies the user's need in different forms like an answer, a record or a list of records. We present an NLS system we implemented as part of the Search service of a major CRM platform. The system is currently in production serving thousands of customers. Our user studies showed that creating dynamic reports with NLS saved more than 50% of our user's time compared to achieving the same result with navigational search. We describe the architecture of the system, the particularities of the CRM domain as well as how they have influenced our design decisions. Among several submodules of the system we detail the role of a Deep Learning Named Entity Recognizer. The paper concludes with discussion over the lessons learned while developing this product.

研究の動機と目的

• 複雑でプライバシーに配慮が必要なCRM環境において、スケーラブルで本番環境対応の自然言語検索（NLS）システムを設計・デプロイすること。
• 高いカスタマイズ性とデータプライバシー制約が課される企業環境において、ドメイン固有のトレーニングデータが限られている状況でのNERの課題に対処すること。
• 自然言語クエリによる動的レコード取得を可能にすることで、ナビゲーションやレポートベースのワークフローへの依存を減らし、ユーザーの生産性を向上させること。
• 多様な顧客環境にわたる一般化性能と信頼性を高めるために、深層学習とルールベースシステムを組み合わせた堅牢なハイブリッドアーキテクチャを構築すること。
• 進化するユーザー要件に応じた実世界のNLPシステムにおける、モデルライフサイクル管理、評価、インストルメンテーションのベストプラクティスを確立すること。

提案手法

• 2つの並列タギングパイプラインを有するハイブリッドアーキテクチャを採用：1つは深層学習ベースのNERとルールベースのエキスパートシステムを組み合わせた一般化性能を重視したもの、もう1つは文脈自由文法（クエリ提案文法）を用いた予測可能なクエリ提案実行を目的としたもの。
• 実世界の企業クエリのアノテーションが不足している状況を補うために、確率的文脈自由文法（PCFG）を用いた合成的で現実的ないわゆるトレーニングデータを生成した。
• 一般の事前学習済み埋め込みとは異なり、CRM固有のクエリパターンに特化したドメイン固有の単語埋め込みを学習させ、エンティティ認識の精度を向上させた。
• バージョン管理されたモデルゲーティング、メタデータ駆動のアルゴリズム、A/Bテストを含むマルチステージの品質パイプラインを実装し、本番環境での安定性と測定可能な改善を確保した。
• ピクリスト値やブールフィルタなど、単純で高カバレッジなタスクに対してエキスパートシステムを統合し、堅牢性を高めるとともに、深層学習モデルへの負荷を軽減した。
• オンラインモニタリングとインストルメンテーションを用いて、システムの挙動と障害を追跡し、段階的な改善とモデル更新を支援した。

実験結果

リサーチクエスチョン

• RQ1 限られた可変性の高いトレーニングデータを有する企業向けCRMシステムにおいて、深層学習ベースのNERモデルを効果的に適合させる方法は何か？
• RQ2 マルチテントでプライバシー制約のある環境において、深層学習の柔軟性とルールベースシステムの信頼性を最適にバランスさせるアーキテクチャパターンは何か？
• RQ3 実際のアノテート済みデータが不足している状況で、PCFGによって生成された合成データが、NERのパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 進化するユーザー要件に応じた本番環境NLPシステムにおいて、モデルライフサイクル管理と評価パイプラインをどのように設計すれば継続的な改善が可能になるか？
• RQ5 ニューラルモデルとシンボリックコンponentsを統合したハイブリッドシステムは、信頼性とスケーラビリティを確保する企業向け検索において、果たす役割は何か？

主な発見

• NLSシステムは、動的レポート作成の際、従来のナビゲーション検索と比較してユーザーの所要時間を50％以上短縮した。これは、ワークフローの大幅な高速化を示している。
• PCFGを用いた合成データ生成により、現実的で意味的に意味のあるトレーニングデータが得られ、実際のアノテーションが限られている状況でもモデルの一般化性能が著しく向上した。
• 深層学習ベースのNERとルールベースのエキスパートシステム、文法ベースのクエリ提案エンジンを統合したハイブリッドアーキテクチャは、純粋なニューラルモデルやシンボリックアプローチ単体よりも優れた耐障害性とカバレッジを実現した。
• ピクリスト値やブールフィルタの認識といった単純で構造化されたタスクにおいて、エキスパートシステムは特にカスタマイズ度の高い顧客環境において、深層学習モデルよりも信頼性が高かった。
• モデルバージョニング、メタデータ駆動のパイプライン、A/Bテストは、進化するユーザー要件に応じた本番環境での品質維持と段階的改善を可能にする上で不可欠であった。
• システムは、当初は純粋な深層学習ベースのNERモデルであったが、実世界の企業環境への適用における柔軟性と信頼性の必要性を反映して、ハイブリッドシステムへと進化した。