[論文レビュー] Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy

Zhihong Shao, Yeyun Gong+4 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、複雑な推論タスクにおける性能向上を図るために、大規模言語モデルにおける検索と生成を効果的に交互に繰り返す手法である反復的検索・生成（I ter -R et G en ）を提案する。モデルが出力する応答を用いて検索クエリを段階的に最適化することで、関連性モデリングを向上させ、検索と生成のオーバーヘッドを少なく抑えつつ、最新の検索拡張手法を上回り、マルチホップQAベンチマークで最大8.6%の絶対的精度向上を達成する。

ABSTRACT

Large language models are powerful text processors and reasoners, but are still subject to limitations including outdated knowledge and hallucinations, which necessitates connecting them to the world. Retrieval-augmented large language models have raised extensive attention for grounding model generation on external knowledge. However, retrievers struggle to capture relevance, especially for queries with complex information needs. Recent work has proposed to improve relevance modeling by having large language models actively involved in retrieval, i.e., to improve retrieval with generation. In this paper, we show that strong performance can be achieved by a method we call Iter-RetGen, which synergizes retrieval and generation in an iterative manner. A model output shows what might be needed to finish a task, and thus provides an informative context for retrieving more relevant knowledge which in turn helps generate a better output in the next iteration. Compared with recent work which interleaves retrieval with generation when producing an output, Iter-RetGen processes all retrieved knowledge as a whole and largely preserves the flexibility in generation without structural constraints. We evaluate Iter-RetGen on multi-hop question answering, fact verification, and commonsense reasoning, and show that it can flexibly leverage parametric knowledge and non-parametric knowledge, and is superior to or competitive with state-of-the-art retrieval-augmented baselines while causing fewer overheads of retrieval and generation. We can further improve performance via generation-augmented retrieval adaptation.

研究の動機と目的

• 検索拡張型大規模言語モデルにおけるワンタイム検索の限界、特に複雑な情報要請に対しての課題を解決すること。
• 既存の入れ違い検索・生成ワークフローの構造的制約と高いオーバーヘッドを克服すること。
• モデルが出力する応答を動的クエリコンテキストとして活用することで、反復的検索における関連性モデリングを向上させること。
• 大規模言語モデルにおけるパラメトリック知識とノンパラメトリック知識の有効な連携を可能にすること。
• 再ランク付けのアノテーションに依存するのを減らすために、生成拡張検索を用いて密度型検索器を適応させること。

提案手法

• I ter -R et G en は、検索拡張生成と生成拡張検索を反復的なループ内で交互に実行する。
• 初期検索ではタスク入力をクエリとして使用するが、以降の検索ではモデルが出力した応答を洗練されたクエリとして用いる。
• 各反復で得られたすべての知識を集約し、次の生成ステップで共同で利用することで、生成の柔軟性を保持する。
• 生成構造を変更せずに、チェーン・オブ・トークン（few-shot）プロンプトとチェーン・オブ・トゥキャストのデモンストレーションをサポートする。
• 生成拡張検索適応は、モデル出力（再ランカー）から得られる知識を、タスク入力のみを用いる密度型検索器に凝縮する。
• 本手法は、明示的な再ランク付けや検索関連性のアノテーションなしに、few-shot設定で評価される。

実験結果

リサーチクエスチョン

• RQ1 検索と生成の反復的連携は、ワンタイム検索を上回る複雑な推論タスクにおける性能向上を実現できるか？
• RQ2 モデルが出力する応答を動的検索クエリとして使用することで、より関連性の高い知識の検索が可能になるか？
• RQ3 複数ラウンドの入れ違いアプローチと比較して、検索と生成のオーバーヘッドを低減できるか？
• RQ4 パラメトリック知識とノンパラメトリック知識の両方を活用した場合、本手法はどのように性能を発揮するか？
• RQ5 生成拡張検索適応により、反復回数を減らしても性能向上が達成できるか？

主な発見

• I ter -R et G en は、6つのマルチホップQAデータセットのうち4つにおいて、最新の検索拡張手法を最大8.6%の絶対的精度向上で上回る。
• 残りの2つのデータセットに対しても競争力のある性能を示し、多様な推論タスクにわたる広範な有効性を示している。
• 反復回数が増えるほど性能が向上し、ほとんどの設定で2回の反復で最大の向上幅を達成する。
• 生成拡張検索適応により、さらに性能向上が達成され、必要な反復回数が削減され、オーバーヘッドが低減される。
• 正確一致（exact match）のような自動評価指標は、LLMの性能を著しく低く評価する可能性があり、LLMベースの評価ではより信頼性の高い向上が確認できる。
• I ter -R et G en は、非パラメトリック知識に答えが明示的に存在しない場合でさえ、Self-Askを常に上回る性能を示しており、パラメトリック知識とノンパラメトリック知識の効果的な統合を実証している。