[論文レビュー] Enhancing Conversational Search: Large Language Model-Aided Informative Query Rewriting

Fanghua Ye, Meng Fang+2 more|arXiv (Cornell University)|Oct 15, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本論文では、会話検索における情報豊富で文脈を含むクエリ再書き換えを生成するために大規模言語モデル（LLMs）を活用することを提案し、人間による再書き換えを上回るリtrieval性能を実現する。Clarify、情報性、冗長性の欠如、意味的整合性という4つの重要な特性を備えた適切な再書き換えを生成するように微調整された指令型LLMを設計し、LLMエディタを用いた「再書き換え→編集」ワークフローを採用することで、特にスパースリtrieverにおいて優れた結果が得られた。また、蒸留技術により効率的な推論が可能になった。

ABSTRACT

Query rewriting plays a vital role in enhancing conversational search by transforming context-dependent user queries into standalone forms. Existing approaches primarily leverage human-rewritten queries as labels to train query rewriting models. However, human rewrites may lack sufficient information for optimal retrieval performance. To overcome this limitation, we propose utilizing large language models (LLMs) as query rewriters, enabling the generation of informative query rewrites through well-designed instructions. We define four essential properties for well-formed rewrites and incorporate all of them into the instruction. In addition, we introduce the role of rewrite editors for LLMs when initial query rewrites are available, forming a "rewrite-then-edit" process. Furthermore, we propose distilling the rewriting capabilities of LLMs into smaller models to reduce rewriting latency. Our experimental evaluation on the QReCC dataset demonstrates that informative query rewrites can yield substantially improved retrieval performance compared to human rewrites, especially with sparse retrievers.

研究の動機と目的

• 会話検索における人間によるクエリ再書き換えの限界、すなわち最適なリtrievalに必要な十分な文脈や情報性が欠けている点を是正すること。
• 大規模言語モデル（LLMs）を、クエリ再書き換えモデルの学習に用いるスケーラブルで高品質な代替手段として、人間による再書き換えの代替として探求すること。
• 適切なクエリ再書き換えに不可欠な4つの特性（明確性、情報性、冗長性の欠如、意味的整合性）を定義し、それを強制すること。
• LLMが再書き換え者およびエディタとして機能する「再書き換え→編集」フレームワークを提案すること。
• LLMが生成する再書き換えを、性能を損なわせずに低遅延推論が可能な小型で高速なモデルに蒸留すること。

提案手法

• Clar clarity、情報性、冗長性の欠如、意味的整合性という4つの主要特性を統合した包括的な指令プロンプトを設計し、ゼロショットLLMによるクエリ再書き換えを実現する。
• 高品質な再書き換えを生成するための、例示を含むfew-shotプロンプティング戦略を実装する。
• LLMが初期の再書き換えを小さなモデルやLLMから生成した出力を精錬するエディタとして機能する二段階の「再書き換え→編集」プロセスを導入する。
• LLMが生成する再書き換えを教師ラベルとして用い、蒸留技術を用いて大規模LLMの再書き換え能力を、より小型で高速なモデルに移出する。
• スパースおよびドライブルイトリーブの両方を用いて、QReCCデータセット上で性能向上を評価する。

Figure 1: An example showing that human rewrites may overlook valuable contextual information. Specifically, the omission of the phrase “as a lecturer in midwifery” makes it challenging for retrieval systems to understand the original query comprehensively.

実験結果

リサーチクエスチョン

• RQ1 LLMが生成するクエリ再書き換えは、特にスパースリtrieバに優るリtrieバル効果性を示すか。
• RQ2 会話検索の文脈において、クエリ再書き換えが適切で情報的であるために必要な具体的な特性は何か。
• RQ3 「再書き換え→編集」フレームワークは、直接的なプロンプト提示に比べて、LLMが生成する再書き換えの品質をどの程度向上させるか。
• RQ4 LLMの推論および再書き換え能力を、性能を損なわず小型モデルにどの程度蒸留できるか。
• RQ5 指令微調整済みLLMを用いることで、ベースラインの人間による再書き換えクエリに比べて、リtrieバル性能が顕著に向上するか。

主な発見

• LLMが生成する情報豊富なクエリ再書き換えは、人間による再書き換えを大きく上回り、特にスパースリtrieバにおいてリtrieバル効果性が顕著に向上する。
• 「再書き換え→編集」アプローチにより、LLMが初期出力を精錬することで、より文脈的に正確で情報豊富なクエリが得られることを示した。
• 4つの主要な再書き換え特性を統合した指令微調整済みLLMは、人間による再書き換えと比較して、より情報が多く、曖昧性が少ない再書き換えを生成した。
• LLMが生成する再書き換えを小型モデルに蒸留することで、性能の大部分を維持しながら推論遅延を削減できた。
• QReCCデータセットにおいて、LLM支援の再書き換えは、特にスパースリtrieバ設定下で、Recall@10および平均逆順位（MRR）といったリtrieバル指標で顕著な改善を示した。

Figure 2: Our proposed approach involves prompting LLMs as query rewriters and rewrite editors through clear and well-designed instructions, along with appropriate demonstrations. In the absence of demonstrations, the LLM functions as a zero-shot query rewriter. We explicitly incorporate the require