[論文レビュー] Query2doc: Query Expansion with Large Language Models

Liang Wang, Nan Yang+1 more|arXiv (Cornell University)|Mar 14, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文では、大規模言語モデル（LLMs）の few-shot プロンティングを用いて擬似文書を生成するクエリ拡張手法 Query2doc を提案する。生成された擬似文書は元のクエリと連結され、スパース（例：BM25）およびディンスリトリーブシステムの性能向上に寄与する。本手法は、モデル微調整を一切行わずに MS-MARCO および TREC DL データセットで BM25 の性能を 3% から 15% 向上させ、DPR や SimLM、E5 といった最先端のディンスリトリーブシステムの性能向上にも寄与する。

ABSTRACT

This paper introduces a simple yet effective query expansion approach, denoted as query2doc, to improve both sparse and dense retrieval systems. The proposed method first generates pseudo-documents by few-shot prompting large language models (LLMs), and then expands the query with generated pseudo-documents. LLMs are trained on web-scale text corpora and are adept at knowledge memorization. The pseudo-documents from LLMs often contain highly relevant information that can aid in query disambiguation and guide the retrievers. Experimental results demonstrate that query2doc boosts the performance of BM25 by 3% to 15% on ad-hoc IR datasets, such as MS-MARCO and TREC DL, without any model fine-tuning. Furthermore, our method also benefits state-of-the-art dense retrievers in terms of both in-domain and out-of-domain results.

研究の動機と目的

• 短くスパースなクエリに起因する語彙ギャップや曖昧さが検索性能を妨げる問題に対処すること。
• 大規模言語モデルが微調整なしに効果的なクエリ拡張エンジンとして機能できるかを検討すること。
• LLM が生成する擬似文書を文脈的補完として用いて、スパースおよびディンスリトリーブシステムの両方の性能向上を図ること。
• ドメイン内およびドメイン外の設定、特にゼロショット一般化を含めた状況において、本手法の有効性を評価すること。
• LLM のスケールおよびプロンプト設計が検索性能および事実の整合性に与える影響を分析すること。

提案手法

• 本手法は、k=4 のインライン例を用いた few-shot プロンティングにより、与えられたクエリ q から擬似文書 d′ を生成する。
• スパースリトリーブでは、元のクエリ q を n=5 回繰り返した後、d′ と連結することで項の重みをバランスさせる。これにより拡張クエリ q+ = concat({q}×5, d′) が形成される。
• ディンスリトリーブでは、q+ は q、[SEP]、および d′ を連結することで形成され、すなわち q+ = concat(q, [SEP], d′) となる。
• 本手法はモデル学習とは直交しており、アーキテクチャや損失関数の変更を必要とせず、既存のリトリーブパイプラインへのプラグアンドプレイ統合が可能である。
• 擬似文書は改善版 GPT-3 text-davinci-003 モデルを用いて生成され、MS-MARCO、TREC DL 2019/2020、およびゼロショット OOD データセットで評価される。
• 本手法は、BERT-base を用いて BM25 のハードネガティブ例から学習する設定、およびクロスエンコーダー再ランクャーからの知識蒸留の2つのディンスリトリーブ設定で評価される。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルの few-shot プロンティングにより、検索性能を向上させる高品質な擬似文書を生成できるか？
• RQ2 LLM が生成するコンテンツによるクエリ拡張が、モデル微調整なしにスパースおよびディンスリトリーブシステムの両方の性能を顕著に向上させられるか？
• RQ3 Query2doc の性能はドメイン内およびドメイン外のリトリーブ設定でどのように変化するか？
• RQ4 LLM のスケールが、特に事実の正確性および検索の向上度に与える影響は何か？
• RQ5 本手法は、既存のクエリおよび文書拡張手法と比較して、効率性および有効性の面で優れているか？

主な発見

• Query2doc は、MS-MARCO および TREC DL データセットでオフザシェルフの BM25 を 3% から 15% 向上させ、TREC DL トラックの難易度の高いクエリでより大きな向上を示した。
• DPR や SimLM、E5 といった最先端のディンスリトリーブシステムに対しても、Query2doc は性能向上をもたらしたが、強いクロスエンコーダー再ランクャーからの知識蒸留では向上幅が縮小した。
• ほとんどのデータセットで、ゼロショットドメイン外設定においても、Query2doc は強力なベースラインを上回り、優れた一般化能力を示した。
• 本手法は、最も能力の高い LLM を使用する場合に最も効果的である。小型モデルでは、ベースラインよりわずかな向上しか得られない。
• 高い性能を発揮する一方で、LLM が生成する擬似文書には、誤った日付や詳細などの事実誤認が時折含まれており、システムの信頼性を損なう可能性がある。
• 遅延は著しく増加する：LLM 推論で 1 クエリあたり 2000ms 以上が追加され、クエリ長の拡大によりインデックス検索も遅延する。これは、正確性と効率性のトレードオフを示している。