[論文レビュー] Query Understanding in the Age of Large Language Models

Avishek Anand, V Venktesh+2 more|arXiv (Cornell University)|Jun 28, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、従来のマルチコンponentのクエリ理解パイプラインに代わり、単一のモノリシックなLLMを用いて完全に指定された自然言語マシン意図を生成する、LLMベースのインタラクティブなクエリ再書き換えフレームワークを提案する。このフレームワークは、ユーザーがマシンによる意図の解釈を編集・精錬できるようにすることで、透明性、制御可能性、ユーザーのコントロールを向上させ、意図の忠実度を向上させるとともに、クエリの再形式化のオーバーヘッドを低減する。

ABSTRACT

Querying, conversing, and controlling search and information-seeking interfaces using natural language are fast becoming ubiquitous with the rise and adoption of large-language models (LLM). In this position paper, we describe a generic framework for interactive query-rewriting using LLMs. Our proposal aims to unfold new opportunities for improved and transparent intent understanding while building high-performance retrieval systems using LLMs. A key aspect of our framework is the ability of the rewriter to fully specify the machine intent by the search engine in natural language that can be further refined, controlled, and edited before the final retrieval phase. The ability to present, interact, and reason over the underlying machine intent in natural language has profound implications on transparency, ranking performance, and a departure from the traditional way in which supervised signals were collected for understanding intents. We detail the concept, backed by initial experiments, along with open questions for this interactive query understanding framework.

研究の動機と目的

• 従来のクエリ理解パイプラインではユーザーがシステムによる意図の解釈を確認・編集できないという、透明性とユーザー制御の欠如に対処する。
• 自然言語で生成されたマシンの意図を低コストでインタラクティブに探索可能にすることで、不要なクエリの再形式化を最小限に抑える。
• ユーザーがマシンの意図表現に対して直接的で解釈可能かつ編集可能な対話を可能にすることで、フィードバックデータの質と信頼性を向上させる。
• 直接的および間接的なフィードバック信号を統合的に活用し、再書き換えモデルおよびランカーのエンドツーエンド最適化を図る。
• 情報検索の古典的アーキテクチャを再定義し、説明可能で制御可能かつ忠実な意図表現を検索パイプラインのコアに統合する。

提案手法

• スペルチェック、拡張、分類などの従来のマルチコンponentのクエリ理解（例：）を、ユーザーの意図のマシン解釈を自然言語で記述する単一のLLMベースのクエリリライタに置き換える。
• ユーザーの情報ニーズを忠実かつ妥当に捉える、完全に指定された自然言語文としてのマシン意図を表現する。
• 生成されたマシン意図のインタラクティブな編集を可能にし、検索前にシステムの解釈をユーザーが精錬または是正できるようにする。
• 3つのインタラクション経路をサポートする：コミット（意図を受容）、編集（意図をその場で変更）、探索・精錬（より適切な整合性を得るために段階的に意図を精錬）。
• 直接的フィードバック（例：ユーザーの編集）と間接的フィードバック（例：クリックスルーベイアビリティ）を統合した学習フレームワークを構築し、リライタとランカーのエンドツーエンド最適化を実現する。
• データ拡張およびリtrieval増強型データ選択技術を活用し、高品質なデータが限られる状況下でのリライタのトレーニングにおけるコールドスタート問題を緩和する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのクエリ再書き換えは、従来のブラックボックスパイプラインと比較して、検索システムにおける意図理解の透明性と制御性をどのように向上させるか？
• RQ2 編集可能な自然言語マシン意図と効果的に対話するための最適なデザインパターンとユーザーインターフェースパラダイムは何か？
• RQ3 直接的および間接的フィードバック信号を効果的に統合することで、クエリリライタの微調整と下流の検索パフォーマンスの向上をどのように達成できるか？
• RQ4 データが乏しくてノイズが多い状況下でも、高品質な意図カバレッジと多様性を確保するための戦略は何か？
• RQ5 ユーザーの行動データをどのように活用して、コンテキスト学習や小規模モデルの微調整により、クエリリライタのパーソナライズを実現できるか？

主な発見

• 初期の実験では、LLMを用いて曖昧なクエリの妥当で忠実な自然言語再書き換えが可能であることが示された。
• このフレームワークにより、ユーザーはマシンによる意図の解釈と対話・編集が可能となり、より高い制御性が得られ、繰り返しのクエリ再形式化への依存が軽減された。
• 自然言語によるマシン意図の採用は、システムの推論プロセスを追跡可能にするため、解釈可能で説明可能な情報検索を支援する。
• 直接的および間接的フィードバック信号を統合的に活用したリライタとランカーの共同学習により、より高品質なリライティングと検索パフォーマンスが期待できる。
• データ拡張およびリtrieval増強型データ選択は、意図カバレッジの向上とリライタトレーニングにおけるコールドスタート問題の緩和に顕著な効果を示す。
• ユーザーのプロファイルや微調整済みの小規模モデルによるパーソナライズは、ユーザー固有の文脈におけるリライタパフォーマンスの向上に有望である。