[論文レビュー] In Defense of RAG in the Era of Long-Context Language Models

Yu Tan, Anbang Xu+1 more|arXiv (Cornell University)|Sep 3, 2024

Topic Modeling被引用数 4

ひとこと要約

本論文は、長文の文脈における質問応答の回答品質を向上させるために、取得した文書チャンクの元の順序を保持するOrder-Preserve Retrieval-Augmented Generation (OP-RAG)を提案する。従来のRAGや長文脈言語モデルとは異なり、OP-RAGは117K～196Kトークンを処理する長文脈モデルよりもはるかに少ない入力トークン数（48K）で、最高47.25のF1スコアを達成し、焦点を絞ったリtrievalが、無差別な文脈長の拡張を上回ることを示している。

ABSTRACT

Overcoming the limited context limitations in early-generation LLMs, retrieval-augmented generation (RAG) has been a reliable solution for context-based answer generation in the past. Recently, the emergence of long-context LLMs allows the models to incorporate much longer text sequences, making RAG less attractive. Recent studies show that long-context LLMs significantly outperform RAG in long-context applications. Unlike the existing works favoring the long-context LLM over RAG, we argue that the extremely long context in LLMs suffers from a diminished focus on relevant information and leads to potential degradation in answer quality. This paper revisits the RAG in long-context answer generation. We propose an order-preserve retrieval-augmented generation (OP-RAG) mechanism, which significantly improves the performance of RAG for long-context question-answer applications. With OP-RAG, as the number of retrieved chunks increases, the answer quality initially rises, and then declines, forming an inverted U-shaped curve. There exist sweet points where OP-RAG could achieve higher answer quality with much less tokens than long-context LLM taking the whole context as input. Extensive experiments on public benchmark demonstrate the superiority of our OP-RAG.

研究の動機と目的

• 長文脈言語モデルの時代におけるRAGの役割を再評価し、長文脈モデルが単独でRAG手法を上回るとの仮定に疑問を呈すること。
• 長文脈質問応答において、取得したチャンクの順序が回答品質に与える影響を調査すること。
• RAGのパフォーマンスが、不要な情報によって低下し始めるまでの最適なリtrieval範囲を特定すること。
• 効率的で焦点を絞ったリtrievalが、全文書を入力として処理する長文脈言語モデルを上回ることを実証すること。

提案手法

• リtrievalされた文書チャンクの元の順序を保持するOrder-Preserve RAG (OP-RAG)を提案し、関連性に基づいて再順序付けしない。
• クエリと文書チャンクを、dense vector retrieval (BGE-large-en-v1.5) を用いて埋め込み、類似度に基づいて上位-k個のチャンクを取得する。
• LLMの入力文脈を、元の文書順序に従って取得したチャンクを連結することで構築し、時間的・構造的な一貫性を維持する。
• 取得チャンク数を系統的に変化させ、再現性（より多くの関連情報）と精度（より少ない干渉）のトレードオフを調査する。
• Llama3.1-70Bおよび他の長文脈言語モデルを生成器として用い、さまざまな入力長でのパフォーマンスを評価する。
• アブレーションスタディを実施し、リtrieval順序と文脈長が回答品質に与える影響を分離して分析する。

(a) F1 score.

実験結果

リサーチクエスチョン

• RQ1 関連性順に並べ替えたリtrievalと比較して、取得したチャンクの元の順序を保持することで、長文脈質問応答の回答品質が向上するか？
• RQ2 リtrievalチャンク数の増加に伴い、RAGの回答品質はどのように変化するか？また、逆U字型の曲線に従うか？
• RQ3 最適なチャンク数を有するRAGは、全文書を入力として処理する長文脈言語モデルを、使用トークン数が少ないにもかかわらず上回ることができるか？
• RQ4 長文脈RAGシステムにおいて、リtrievalの再現性と干渉の最適なバランスは何か？
• RQ5 モデルスケーリング（例：Llama3.1-8B 対 70B）が、OP-RAGにおけるピークパフォーマンスの位置に与える影響は何か？

主な発見

• OP-RAGはEn.QAベンチマークで48Kトークンの入力で47.25のF1スコアを達成し、RAGなしのLlama3.1-70B（117Kトークンで34.26のF1スコア）を上回った。
• 128個のチャンクを取得した場合、OP-RAGはEn.QAで44.43のF1スコアを達成したが、同数のチャンクを用いたヴァニラRAGでは38.40のF1スコアにとどまった。
• EN.MCデータセットでは、192個のチャンクを用いたOP-RAGが88.65％の正答率を達成したのに対し、ヴァニラRAGは81.22％にとどまり、スケールに応じた顕著な向上が確認された。
• OP-RAGのパフォーマンスは逆U字型の曲線に従う：チャンク数の増加に伴い品質が向上するが、ピークに達した後は不要な情報による干渉が増加し、品質が低下する。
• OP-RAGは24KトークンでEN.MCで88.65％の正答率を達成し、GPT-4O（78.42％）やGemini-1.5-Pro（85.57％）を下回るトークン数で上回った。
• Llama3.1-70Bのピークパフォーマンスは、En.QAでは48Kトークン、EN.MCでは32Kトークンで発現しており、より大きなモデルは劣化が現れるまでの文脈長に耐えうることを示している。

(b) Input token count.