[論文レビュー] LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs

Ziyan Jiang, Xueguang Ma+1 more|arXiv (Cornell University)|Jun 21, 2024

Advanced Data Storage Technologies被引用数 12

ひとこと要約

LongRAG は long-context retrieval と reading を RAG に導入し、4K-token units を用いて recall と end-to-end QA の性能を、training なしで向上させる。

ABSTRACT

In traditional RAG framework, the basic retrieval units are normally short. The common retrievers like DPR normally work with 100-word Wikipedia paragraphs. Such a design forces the retriever to search over a large corpus to find the `needle' unit. In contrast, the readers only need to generate answers from the short retrieved units. The imbalanced `heavy' retriever and `light' reader design can lead to sub-optimal performance. The loss of contextual information in the short, chunked units may increase the likelihood of introducing hard negatives during the retrieval stage. Additionally, the reader might not fully leverage the capabilities of recent advancements in LLMs. In order to alleviate the imbalance, we propose a new framework LongRAG, consisting of a `long retriever' and a `long reader'. In the two Wikipedia-based datasets, NQ and HotpotQA, LongRAG processes the entire Wikipedia corpus into 4K-token units by grouping related documents. By increasing the unit size, we significantly reduce the total number of units. This greatly reduces the burden on the retriever, resulting in strong retrieval performance with only a few (less than 8) top units. Without requiring any training, LongRAG achieves an EM of 62.7% on NQ and 64.3% on HotpotQA, which are on par with the (fully-trained) SoTA model. Furthermore, we test on two non-Wikipedia-based datasets, Qasper and MultiFieldQA-en. LongRAG processes each individual document as a single (long) unit rather than chunking them into smaller units. By doing so, we achieve an F1 score of 25.9% on Qasper and 57.5% on MultiFieldQA-en. Our study offers insights into the future roadmap for combining RAG with long-context LLMs.

研究の動機と目的

• Retriever と reader の伝統的 RAG における不均衡を、より長い retrieval ユニットを使用して是正する動機付け。
• 長いコンテキスト LLM を活用するために、長い retriever と長い reader を備えた LongRAG フレームワークを提案する。
• オープンドメイン QA で回答品質を保ちつつ、コーパスサイズを削減し retrieval recall を改善する。

提案手法

• 関連する Wikipedia 文書を 4K-token ユニットにグループ化して長い retrieval ユニットを形成する。
• 長い retriever を用いて類似度 sim(q,g) ≈ max_{g'⊆g} E_Q(q)^T E_C(g') を持つ上位 4–8 の長いユニットを検索する。
• 上位 k ユニットを結合してリーダーのための長い文脈検索結果を集約する。
• タスク固有の学習なしで、結合された retrieval から回答を抽出する長い文脈 LLM（例: Gemini-1.5-Pro または GPT-4o）を促す。
• 2 段階の長いリーダーアプローチを採用する：長い回答を生成し、それからそれを元に簡潔な最終回答を抽出する。
• 長いユニット全体をエンコードせずに、 retrieval ユニット内のチャンクの最大値で近似する長い文脈埋め込みスコアリング。

実験結果

リサーチクエスチョン

• RQ1 検索ユニットの長さを増やすことで、意味的整合性を保ちつつ検索するユニット数を減らすことで、オープンドメイン QA の性能は向上するか？
• RQ2 長い文脈リーダー（Gemini-1.5-Pro や GPT-4o のような LLMs）は、ファインチューニングなしで連結された長い文脈からのゼロショット抽出でどのように機能するか？
• RQ3 エンド QA のパフォーマンスに対する取得粒度の影響と、最適な取得ユニット数は？
• RQ4 長いユニットによるコーパスサイズの削減はリコールとエンドタスクのパフォーマンスのトレードオフになるか、従来の短いユニット RAG とどう比較されるか？

主な発見

• 長い retrieval ユニットで Recall とエンドツーエンド QA の性能が向上する；NQ の recall@1 は 52%（短いユニット）から grouped documents で 71.69% に上昇。
• HotpotQA の recall 結果も長いユニットで改善され、ユニットの粒度に応じて 72.49–86.30 の AR 範囲を達成。
• LongRAG は NQ で 62.7、HotpotQA (full-wiki) で 64.3 の EM を訓練なしで達成し、強力な完全に訓練されたベースラインと同等。
• 4–8 の長い retrieval ユニットを用いるだけで強力な結果を得られ、コーパスサイズを最大 30x 減らす（22M から 600K ユニットへ）。
• 長い文脈埋め込みの近似（チャンクの最大値）は、長いユニット全体を直接エンコードするよりも性能が高い。
• GPT-4o を長いリーダーとした場合、NQ の EM は他のリーダーより高く、最も高い値を示した（62.7）、他のリーダーも性能は近い。