[論文レビュー] Retrieve, Summarize, Plan: Advancing Multi-hop Question Answering with an Iterative Approach

Zhouyu Jiang, Mengshu Sun+2 more|arXiv (Cornell University)|Jul 18, 2024

Topic Modeling被引用数 4

ひとこと要約

この論文は、マルチホップQAのための反復的検索増強生成（RAG）フレームワークReSPを提案する。ReSPは、グローバルな質問と現在の部分質問の両方の情報を圧縮する二重機能要約器を用いる。グローバルな証拠とローカルな経路記憶を維持することで、文脈の過負荷を軽減し、過剰な計画立案と繰り返しの計画立案を排除し、HotpotQAで4.1 F1の向上、2WikiMultihopQAで5.9 F1の向上を達成し、最先端の性能を実現した。

ABSTRACT

Multi-hop question answering is a challenging task with distinct industrial relevance, and Retrieval-Augmented Generation (RAG) methods based on large language models (LLMs) have become a popular approach to tackle this task. Owing to the potential inability to retrieve all necessary information in a single iteration, a series of iterative RAG methods has been recently developed, showing significant performance improvements. However, existing methods still face two critical challenges: context overload resulting from multiple rounds of retrieval, and over-planning and repetitive planning due to the lack of a recorded retrieval trajectory. In this paper, we propose a novel iterative RAG method called ReSP, equipped with a dual-function summarizer. This summarizer compresses information from retrieved documents, targeting both the overarching question and the current sub-question concurrently. Experimental results on the multi-hop question-answering datasets HotpotQA and 2WikiMultihopQA demonstrate that our method significantly outperforms the state-of-the-art, and exhibits excellent robustness concerning context length.

研究の動機と目的

• 複数の検索ラウンドにわたって蓄積される検索ドキュメントによる、反復的RAGにおける文脈の過負荷を軽減すること。
• 構造的な検索経路を記録することで、反復的マルチホップQAにおける過剰な計画立案と繰り返しの計画立案を克服すること。
• 検索情報の要約を簡潔で機能的な要約に圧縮することで、文脈長に対する耐性を高めること。
• 反復的RAGパイプラインにクエリ指向の要約を統合することで、マルチホップQAにおける推論の効率性と正確性を向上させること。
• 長文脈長でも高い性能を維持する手法を開発し、既存の最先端手法を上回ること。

提案手法

• 反復的RAGフレームワークに、二重機能のLLMベース要約器を統合し、各検索ラウンドで二種類の要約を生成する。
• 上位の質問に関連する証拠を、検索ドキュメントから要約するグローバルな証拠記憶を維持する。
• 現在の部分質問に関連する情報を要約するローカルな経路記憶を維持する。
• 各反復で、モデルの意思決定のための文脈として、グローバル記憶とローカル記憶の両方を組み合わせる。
• 同じ質問がすでに検索済みであることを防ぐことで、繰り返しの計画立案を回避する停止基準を設定する。
• 結合された記憶が自信を持って答えを生成できるようになるまで、質問を段階的に精緻化し、新たなドキュメントを検索する。

実験結果

リサーチクエスチョン

• RQ1 二重機能要約器は、マルチホップQAのための反復的RAGにおける文脈の過負荷を軽減できるか？
• RQ2 記録された検索経路を維持することで、意思決定の質が向上し、過剰な計画立案と繰り返しの計画立案が軽減されるか？
• RQ3 既存のRAG手法と比較して、ReSPは文脈長に対する耐性をどの程度向上させるか？
• RQ4 クエリ指向の要約統合により、マルチホップQAベンチマークで最先端の性能が達成できるか？
• RQ5 ReSPは、異なるモデルサイズや検索設定（例：1ラウンドあたりの検索ドキュメント数の変更）において、どのように性能を発揮するか？

主な発見

• ReSPは、HotpotQAベンチマークで、以前の最先端手法よりも4.1のF1スコアの絶対的向上を達成した。
• 2WikiMultihopQAベンチマークでは、最も強力なベースラインよりF1が5.9ポイント向上し、優れた一般化性能を示した。
• 1ラウンドあたり15件のドキュメントを検索する状況でも、ReSPは一貫した性能を維持した。一方、標準的なRAGやIRCoTは著しく性能を低下させた。
• 過剰な計画立案を効果的に防止した：事例研究では、ReSPは最初の検索ラウンドで十分な証拠を認識し、正しく停止したが、IRCoTは無駄に継続した。
• 以前に検索済みの部分質問を追跡・除外することで、繰り返しの計画立案を回避した。事例では、IRCoTが結果が得られないにもかかわらず、「Rachelle Amy Beinart」を繰り返し検索していた。
• 二重要約メカニズムにより、モデルは安定的で簡潔な文脈を維持でき、ノイズを低減し、マルチホップシナリオにおける推論の信頼性が向上した。