[論文レビュー] Large Language Models Know Your Contextual Search Intent: A Prompting Framework for Conversational Search

Kelong Mao, Zhicheng Dou+4 more|arXiv (Cornell University)|Mar 12, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）を活用して複数のクエリ再表現と仮想的応答を生成し、それらを統合することでユーザーの意図を強固に表現する、会話型検索の意図理解を向上させるためのプロンプトフレームワーク、LLM4CSを提案する。この手法は、CAsT-19、CAsT-20、CAsT-21ベンチマークで最先端の性能を達成し、既存の手法や人間による再表現でさえも、意図理解と検索効果性において上回っている。

ABSTRACT

Precisely understanding users' contextual search intent has been an important challenge for conversational search. As conversational search sessions are much more diverse and long-tailed, existing methods trained on limited data still show unsatisfactory effectiveness and robustness to handle real conversational search scenarios. Recently, large language models (LLMs) have demonstrated amazing capabilities for text generation and conversation understanding. In this work, we present a simple yet effective prompting framework, called LLM4CS, to leverage LLMs as a text-based search intent interpreter to help conversational search. Under this framework, we explore three prompting methods to generate multiple query rewrites and hypothetical responses, and propose to aggregate them into an integrated representation that can robustly represent the user's real contextual search intent. Extensive automatic evaluations and human evaluations on three widely used conversational search benchmarks, including CAsT-19, CAsT-20, and CAsT-21, demonstrate the remarkable performance of our simple LLM4CS framework compared with existing methods and even using human rewrites. Our findings provide important evidence to better understand and leverage LLMs for conversational search.

研究の動機と目的

• 長尾で多様な会話型検索セッションにおいて、ユーザーの文脈的検索意図を正確に捉える課題に対処すること。
• 大規模言語モデル（LLM）のゼロショット推論および生成能力を活用することで、会話型検索におけるデータ不足を克服すること。
• 仮想的応答生成とアンサンブル統合を組み込むことで、会話型クエリ再表現（CQR）の堅牢性と効果性を向上させること。
• LLMが複雑な複数ターン検索意図を理解する際に、従来のモデルや人間による再表現を上回ることを示すこと。

提案手法

• 同じ会話文脈から複数のクエリ再表現とより長い仮想的応答を生成するために、3つの特化したプロンプト手法を用いる。
• 学習可能な統合メカニズムを用いて、生成された再表現と応答を統合し、意図を豊かに反映した統一された表現にまとめる。
• LLMの強力な文脈理解能力を活用して、会話クエリに一般的に見られる照応や省略の問題を解決する。
• 2段階のプロセスを採用する：(1) LLMによる多様な意図表現の生成、(2) アンサンブル統合による誤ったまたはノイズの多い解釈のフィルタリング。
• 標準的な会話型検索ベンチマーク（CAsT-19、CAsT-20、CAsT-21）を用い、自動評価と人的評価の両方でフレームワークを評価する。
• 統合戦略により、同じユーザー意図の複数の妥当な解釈を組み合わせることで、堅牢性が向上する。

実験結果

リサーチクエスチョン

• RQ1 LLMは、複数ターン会話においてユーザーの文脈的検索意図を効果的に理解し、再構築できるか？
• RQ2 クエリ再表現に加えて仮想的応答を生成することで、単なる再表現のみと比較して意図表現が向上するか？
• RQ3 複数のLLM生成出力のアンサンブル統合は、会話型検索における堅牢性とパフォーマンスを向上させられるか？
• RQ4 LLM4CSフレームワークは、人的アノテーションによる再表現および既存のCQR/CDRモデルと比較して、意図の正確性と検索効果性において優れているか？

主な発見

• LLM4CSは、CAsT-19、CAsT-20、CAsT-21で最先端の性能を達成し、検索効果性において既存手法や人間による再表現を上回った。
• 人的評価では、LLM4CSの再表現がそれぞれCAsT-19、CAsT-20、CAsT-21で85.5%、89.4%、84.8%の割合でユーザーの意図を正しく伝えており、T5QRと比較して75.1%、62.0%、58.6%に比べて優れている。
• LLM4CSの再表現のうち3%未満が照応エラーを含んでいたのに対し、T5QRでは約10%であったため、代名詞や参照の処理が優れていることが示された。
• 仮想的応答の導入が性能向上に顕著に寄与しており、妥当な答えのモデル化が意図理解を強化していることがわかった。
• 複数の生成出力を統合することで、誤った解釈が効果的にフィルタリングされ、正しい解釈が強化され、堅牢性が向上した。