[論文レビュー] Generative Query Reformulation for Effective Adhoc Search

Xiao Wang, Sean MacAvaney+2 more|arXiv (Cornell University)|Aug 1, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、T5およびFLAN-T5モデルを用いた生成的クエリ再定式化により、アドホック検索の効果を向上させる手法を提案する。2つのフレームワーク—GenQR（直接的クエリ再定式化）およびGenPRF（仮の関連フィードバックを用いた再定式化）—を導入し、ファインチューニングとプロンプト設定の両方を用いる。結果として、RM3を上回る顕著な向上が得られ、複雑なニューラルモデルと同等の性能を示す。特にTRECコレクションにおいてニューラル再ランク機構と組み合わせた場合に顕著である。

ABSTRACT

Performing automatic reformulations of a user's query is a popular paradigm used in information retrieval (IR) for improving effectiveness -- as exemplified by the pseudo-relevance feedback approaches, which expand the query in order to alleviate the vocabulary mismatch problem. Recent advancements in generative language models have demonstrated their ability in generating responses that are relevant to a given prompt. In light of this success, we seek to study the capacity of such models to perform query reformulation and how they compare with long-standing query reformulation methods that use pseudo-relevance feedback. In particular, we investigate two representative query reformulation frameworks, GenQR and GenPRF. GenQR directly reformulates the user's input query, while GenPRF provides additional context for the query by making use of pseudo-relevance feedback information. For each reformulation method, we leverage different techniques, including fine-tuning and direct prompting, to harness the knowledge of language models. The reformulated queries produced by the generative models are demonstrated to markedly benefit the effectiveness of a state-of-the-art retrieval pipeline on four TREC test collections (varying from TREC 2004 Robust to the TREC 2019 Deep Learning). Furthermore, our results indicate that our studied generative models can outperform various statistical query expansion approaches while remaining comparable to other existing complex neural query reformulation models, with the added benefit of being simpler to implement.

研究の動機と目的

• 生成的言語モデルが、アドホック検索における語彙不一致を低減するために、ユーザークエリを効果的に再定式化できるかを調査すること。
• クエリ再定式化における事前学習モデルの活用において、ファインチューニングとプロンプト設定の戦略を比較すること。
• 生成的モデルを用いた再定式化に、仮の関連フィードバック（PRF）の文脈を組み込む影響を評価すること。
• ニューラル再ランク機構と組み合わせた際の、生成的再定式化の検索効果を評価すること。
• ドキュメントレベルの拡張手法（例：docT5query）の代替として、軽量でクエリ時間での代替手段を提供すること。

提案手法

• 2つのフレームワークを提案：GenQR（入力クエリをシーケンス・トゥ・シーケンスモデルで直接再定式化）およびGenPRF（仮の関連ドキュメントからの文脈情報をクエリに追加）。
• T5およびFLAN-T5モデルのクエリ再定式化への適応に、ファインチューニングと少数-shotプロンプト設定の両方を用いる。
• 初期のスパース検索（例：BM25）の検索結果を用いて、GenPRFの文脈として仮の関連ドキュメントを抽出する。
• 再定式化されたクエリを同じインverted index に適用し、より高い再検索率の候補集合を生成した後、ニューラル再ランクを適用する。
• 再定式化クエリとニューラル再ランク機構（例：BERTベース）を組み合わせ、ランク付けの効果を向上させる。
• 標準的な情報検索指標（例：nDCG@10、再現率）を用いて、4つのTRECテストコレクション（TREC 2004 Robust から TREC 2019 Deep Learning）でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 生成的言語モデルは、アドホック検索のパフォーマンスを向上させるために、ユーザークエリを効果的に再定式化できるか？
• RQ2 プロンプトベースの手法（例：FLAN-T5）は、ファインチューニングされたモデル（例：T5）と比較して、クエリ再定式化タスクでどのように異なるか？
• RQ3 プロンプトに仮の関連フィードバックの文脈を組み込むことで、再定式化の質と検索効果が向上するか？
• RQ4 生成的クエリ再定式化は、RM3のような従来の統計的手法を上回ることができるか、再現率と正確性の両面で？
• RQ5 生成的クエリ再定式化は、docT5queryのようなドキュメントレベルの拡張手法よりも効率的か？

主な発見

• GenQRおよびGenPRFモデルは、4つのTRECテストコレクションにおいて、ベースライン手法と比較してnDCG@10および再現率の両面で顕著な向上を示した。
• FLAN-T5を基盤とするプロンプト設定モデル（FlanQRおよびFlanPRF）は、パラメータの更新を必要としないため、ファインチューニング済みT5モデルと同等の性能を達成した。
• GenPRFは、仮の関連ドキュメントからの文脈情報を活用することで、GenQRを上回った。これは、フィードバックに依存する再定式化の価値を示している。
• 高品質なトレーニングデータが利用可能な状況では、ファインチューニング済みモデル（T5QRおよびT5PRF）がプロンプトベースのモデルを上回る結果を出した。
• 生成的再定式化とニューラル再ランク機構の組み合わせは、RM3を上回る性能を発揮し、特に上位順位での正確性（nDCG@10）で顕著な向上を示した。
• 本手法は、インデックス作成時にコストのかかるドキュメントレベルのモデリングを必要とせず、効率的で即時のクエリ再定式化を可能にした。これは、docT5queryとは対照的である。