[論文レビュー] Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG

Bowen Jin, Jinsung Yoon+2 more|arXiv (Cornell University)|Oct 8, 2024

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

本論文は、長文脈の検索増強生成（RAG）システムにおいて、取得された文書の数を増やすと性能が低下する要因を調査し、『ハードネガティブ』が主な原因であると特定した。訓練フリーのリトリーブ再順序付けと、2つのRAG特化型ファインチューニング手法—暗黙的ロバストネスファインチューニングと明示的推論ベースファインチューニング—を提案し、複数のベンチマークで顕著な性能向上を示した。最良の手法では、ベースモデル比で正答率が最大12.7%向上した。

ABSTRACT

Retrieval-augmented generation (RAG) empowers large language models (LLMs) to utilize external knowledge sources. The increasing capacity of LLMs to process longer input sequences opens up avenues for providing more retrieved information, to potentially enhance the quality of generated outputs. It is plausible to assume that a larger retrieval set would contain more relevant information (higher recall), that might result in improved performance. However, our empirical findings demonstrate that for many long-context LLMs, the quality of generated output initially improves first, but then subsequently declines as the number of retrieved passages increases. This paper investigates this phenomenon, identifying the detrimental impact of retrieved "hard negatives" as a key contributor. To mitigate this and enhance the robustness of long-context LLM-based RAG, we propose both training-free and training-based approaches. We first showcase the effectiveness of retrieval reordering as a simple yet powerful training-free optimization. Furthermore, we explore training-based methods, specifically RAG-specific implicit LLM fine-tuning and RAG-oriented fine-tuning with intermediate reasoning, demonstrating their capacity for substantial performance gains. Finally, we conduct a systematic analysis of design choices for these training-based methods, including data distribution, retriever selection, and training context length.

研究の動機と目的

• 長文脈RAGシステムにおいて、再検索文書数を増やしても再検索率が向上するにもかかわらず、なぜ性能が低下するのかを調査すること。
• 長文脈LLMにおける性能低下の主な原因として、再検索文書内に存在する『ハードネガティブ』を同定すること。
• ノイズや不適切な内容を含む再検索コンテンツに対してロバスト性を高める、訓練フリーおよび訓練ベースの手法を開発すること。
• データ分布、リトリーバー選択、コンテキスト長といった設計要因がRAG特化型ファインチューニングに与える影響を評価すること。
• RAG特化型ファインチューニングと一般SFTデータの組み合わせが、一般能力を維持しながらRAG性能を向上させることを実証すること。

提案手法

• リトリーブ再順序付け：高スコアのドキュメントを入力シーケンスの先頭および末尾に配置することで、『中間で消失する注目』問題を軽減する。
• 暗黙的ロバストネスファインチューニング：ノイズやハードネガティブな文書を含むクエリ-ドキュメントペアを用いてLLMをファインチューニングし、明示的な関連性ラベルなしで一般ロバストネスを向上させる。
• 明示的関連性ファインチューニング：ファインチューニング中にLLMが関連情報を特定する中間的推論ステップを導入することで、関連性の識別能力を向上させる。
• トレーニングデータスケーリング：RAG特化型データを5k～200k件のスケールで評価し、データ量が増えるほど一貫した正答率向上が得られることを示した。
• ハイブリッドファインチューニング：RAG特化型データと一般SFTデータ（例：UltraChat）を組み合わせることで、一般能力を維持しながらRAG性能を向上させる。
• 体系的アブレーション：リトリーバーの強度、トレーニングコンテキスト長、データ分布がファインチューニング効果に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 長文脈RAGシステムにおいて、再検索文書数を増やすと、性能が一貫して向上するか？
• RQ2 強力なリトリーバーから得られる『ハードネガティブ』が、長文脈RAGにおけるLLM生成品質にどの程度悪影響を及えるか？
• RQ3 リトリーブ再順序付けは、長文脈LLMにおける注目効率の悪さを緩和できるか？
• RQ4 ノイズの多い再検索コンテンツに対して、暗黙的ファインチューニングがどれほどロバストネスを向上させられるか？
• RQ5 ファインチューニング中に中間的推論ステップを追加することで、関連性の識別能力と最終出力品質が顕著に向上するか？

主な発見

• 長文脈RAGタスクにおける性能は、文書数を増やすと一時的に向上するが、最終的には低下し、30件がピークに達した後、低下を示す。これは再検索率とノイズのトレードオフを示している。
• より強力なリトリーバーは、より有害な『ハードネガティブ』を導入し、弱いリトリーバーよりも性能低下を悪化させる。
• リトリーブ再順序付けにより、中間スコアでランク付けされた不適切な文書への注目を軽減し、平均で最大4.2%の性能向上が達成された。
• 中間的推論ステップを含む明示的関連性ファインチューニングが最も高い向上を示し、TriviaQAおよびHotpotQAにおいてベースモデル比で最大12.7%の正答率向上を達成した。
• RAG特化型ファインチューニングデータを5kから200kにスケーリングすると、NQにおける正答率が0.5805から0.6176に一貫して向上した。
• RAG特化型ファインチューニングデータと一般SFTデータの組み合わせにより、一般能力（例：MT-Benchスコア）を維持しながらRAG性能を向上させることができ、NQ正答率は0.5687から0.6033に上昇した。