[論文レビュー] MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation

Hongjin Qian, Zheng Liu+5 more|arXiv (Cornell University)|Sep 9, 2024

Robotics and Automated Systems被引用数 5

ひとこと要約

MemoRAG は、長距離メモリモジュールを備えたデュアルシステムの検索補強を導入し、グローバルコンテキストをメモリトークンへ圧縮して検索を導くことで、標準の RAG を超える陰の情報や長文コンテキストのクエリの処理を改善します。複雑な UltraDomain タスクでの高性能と広範なドメイン一般化を示します。

ABSTRACT

Processing long contexts presents a significant challenge for large language models (LLMs). While recent advancements allow LLMs to handle much longer contexts than before (e.g., 32K or 128K tokens), it is computationally expensive and can still be insufficient for many applications. Retrieval-Augmented Generation (RAG) is considered a promising strategy to address this problem. However, conventional RAG methods face inherent limitations because of two underlying requirements: 1) explicitly stated queries, and 2) well-structured knowledge. These conditions, however, do not hold in general long-context processing tasks. In this work, we propose MemoRAG, a novel RAG framework empowered by global memory-augmented retrieval. MemoRAG features a dual-system architecture. First, it employs a light but long-range system to create a global memory of the long context. Once a task is presented, it generates draft answers, providing useful clues for the retrieval tools to locate relevant information within the long context. Second, it leverages an expensive but expressive system, which generates the final answer based on the retrieved information. Building upon this fundamental framework, we realize the memory module in the form of KV compression, and reinforce its memorization and cluing capacity from the Generation quality's Feedback (a.k.a. RLGF). In our experiments, MemoRAG achieves superior performances across a variety of long-context evaluation tasks, not only complex scenarios where traditional RAG methods struggle, but also simpler ones where RAG is typically applied.

研究の動機と目的

• 標準の RAG があいまいな情報ニーズや構造化されていない知識の取り扱いにおける限界に対応する。
• 長距離メモリモデルを備えたデュアルシステムアーキテクチャを提案し、検索の手がかりを生成する。
• 大規模データベース全体のカバレッジと推論を改善するためのメモリ拡張検索を実現する。
• UltraDomain ベンチマークを通じて多様なドメインへの一般化を示す。
• MemoRAG の実用的な導入ガイドとオープンソースリソースを提供する。

提案手法

• 生データの入力トークンをメモリトークンを介してコンパクトなグローバルメモリに圧縮するメモリモジュールを導入する。
• 軽量なメモリモデルを用いてメモリトークンを形成し、取得した証拠に基づいて最終回答を生成する重いジェネレーターを用いる。
• 長いコンテキストでの事前学習と、タスク固有の手がかり生成のための教師付き微調整でメモリモジュールを訓練する。
• 検索プロセスを、メモリ X^m からタスク固有の手がかり y を生成することとして表現し、それが従来のリトリーバを導いて関連コンテキストを取得させる。
• 検索手法（密・疎）とジェネレーターの柔軟な統合を許可し、デフォルトは密な検索とメモリモデルに基づく生成とする。
• Q/K/V 投影とメモリアテンションの方程式（式 3–7）を用いた圧縮駆動のメモリを実証する。

実験結果

リサーチクエスチョン

• RQ1 MemoRAG は標準の RAG と比較して、暗黙的な情報ニーズに対する検索品質を改善できるか。
• RQ2 グローバルメモリはマルチホップおよび長文コンテキストタスクにおける検索へどのように影響するか。
• RQ3 MemoRAG は多様なドメインや構造化されていない知識源に一般化するか。
• RQ4 メモリ拡張 RAG の実用的なデプロイメントの限界とリソース要件は何か。
• RQ5 メモリ手がかりは、メモリ内容に過剰適合することなく、正確な最終生成を導くのに十分な情報を保持できるか。

主な発見

• MemoRAG は UltraDomain の複数のデータセットと設定でベースラインを上回る性能を達成する。
• メモリ拡張型アプローチは、暗黙的なクエリの効果的な処理と分散証拠の収集を可能にする。
• MemoRAG は分野間一般化が強く、ドメイン内外のタスク、長文コンテキストや長文QAのシナリオを含む、良好に機能する。
• システムはメモリ圧縮によって長い文脈長（数十万トークン規模まで）をサポートし、圧縮比を設定可能。
• 公開済みの2つのメモリモデル（memorag-qwen2-7b-inst と memorag-mistral-7b-inst）は非常に長い文脈の処理を可能にし、さまざまなジェネレーターと組み合わせられる。
• 実験結果は、MemoRAG が Full context およびいくつかのベースライン RAG 手法を UltraDomain ベンチマークで上回ることを示しています。