[論文レビュー] When do Generative Query and Document Expansions Fail? A Comprehensive Study Across Methods, Retrievers, and Datasets

Orion Weller, Kyle Lo+5 more|arXiv (Cornell University)|Sep 15, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本研究は、大規模言語モデル（LLM）を用いたクエリおよびドキュメント拡張が情報検索においていつ失敗するかを調査する。拡張は弱いリトリーバーにおいて顕著に性能を向上させるが、ノイズが関連性ランク付けを劣化させるため強いモデルでは性能を損なう。これは、拡張を低性能または分布外設定において、分布ギャップを埋めるために使用すべきであることを示唆する。

ABSTRACT

Using large language models (LMs) for query or document expansion can improve generalization in information retrieval. However, it is unknown whether these techniques are universally beneficial or only effective in specific settings, such as for particular retrieval models, dataset domains, or query types. To answer this, we conduct the first comprehensive analysis of LM-based expansion. We find that there exists a strong negative correlation between retriever performance and gains from expansion: expansion improves scores for weaker models, but generally harms stronger models. We show this trend holds across a set of eleven expansion techniques, twelve datasets with diverse distribution shifts, and twenty-four retrieval models. Through qualitative error analysis, we hypothesize that although expansions provide extra information (potentially improving recall), they add additional noise that makes it difficult to discern between the top relevant documents (thus introducing false positives). Our results suggest the following recipe: use expansions for weaker models or when the target dataset significantly differs from training corpus in format; otherwise, avoid expansions to keep the relevance signal clear.

研究の動機と目的

• LLMを用いたクエリおよびドキュメント拡張が情報検索を普遍的に向上させるのか、それともモデルの強さに依存するのかを理解すること。
• 拡張の有効性が異なるリトリーブモデル、データセット、分布シフトの文脈でどのように変化するかを評価すること。
• 追加情報が加わっているにもかかわらず、性能が劣化する条件を特定すること。
• モデルの能力とデータ分布に基づいて、拡張をいつ使用すべきかを体系的な推奨事項として提示すること。

提案手法

• 本研究は、24のリトリーブモデルと12のデータセットを用い、多様な分布シフトを伴う11の拡張手法を評価する。
• BEIRやその他のベンチマークデータセット上で、標準的な情報検索指標（例：MRR、Recall）を用いた標準化された評価プロトコルを採用する。
• 拡張は、指示微調整済みの大規模言語モデル（例：GPT-3.5、Llama-2）を介して、追加のクエリまたはドキュメントテキストを生成することで実施する。
• 最初の段階のリトリーバー（例：BM25、ColBERT、bi-encoder）と再ランカー（例：BERT、DeBERTa）において、拡張ありとなしの性能を比較分析する。
• 失敗モードを検証するための定性的な誤差分析を実施し、特に上位ランク結果における誤検出（false positives）に注目する。
• リトリーバーの性能と拡張による利益の間の相関関係を数量化するために、統計的相関分析を用いる。

Figure 1: Methods like query expansion and document expansion typically improve performance when used with weaker models but not for stronger models; more accurate models generally lose relevance signal when expansions are provided. Best expansion and model results taken from those in Table 1 .

実験結果

リサーチクエスチョン

• RQ1 RQ1: リトリーブモデルの性能が、LLMを用いたクエリおよびドキュメント拡張による利益にどのように影響するか？
• RQ2 RQ2: ドメイン、フォーマット、関連性、クエリ長などの異なるタイプの分布シフトが、拡張の有効性にどのように影響するか？
• RQ3 RQ3: 有用な情報を追加しているにもかかわらず、なぜ拡張が強いリトリーブモデルに悪影響を及えるのか？
• RQ4 RQ4: 強いモデルに対しても一貫して性能を向上させる条件は存在するのか？

主な発見

• リトリーバーの性能と拡張による利益の間に強い負の相関が認められる：弱いモデルは利益を得るが、強いモデルは一貫して性能が低下する。
• 強いモデルに対する拡張の悪影響は、11の拡張手法、12のデータセット、24のリトリーブモデルにわたり保持され、一般的なトレンドであることが示された。
• 拡張は関連する文脈を追加することで再検索率（recall）を向上させるが、ノイズを導入することで精度（precision）を劣化させ、結果として上位ランク結果に誤検出が増加する。
• 唯一の例外は長クエリシフトであり、ここでは拡張が強力なモデルを含めすべてのモデルに役立つ。これは、クエリ長が拡張の有効性の鍵要因である可能性を示唆する。
• フォーマットシフトの状況では、強いモデルがすでに達成している水準を超えて、拡張に恩恵は見られない。
• 結果から、強いモデルでは拡張を避けることで関連性信号を保持すべきであり、弱いモデルや分布外設定において拡張が最も効果的であると示唆される。

Figure 2: Effect of expansion over twelve datasets. For each dataset, markers show base performance for models, while the boxplot indicates the range of changes in scores for document and/or query expansion. Across all datasets and models, we note a consistent trend: models with lower base performan