[论文解读] MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation

Hongjin Qian, Zheng Liu+5 more|arXiv (Cornell University)|Sep 9, 2024

Robotics and Automated Systems被引用 5

一句话总结

MemoRAG 引入双系统检索扩增，具有一个把全局上下文压缩为内存标记以引导检索的长程记忆模块，提升对隐式和超长上下文查询的处理能力，超越标准 RAG。它在复杂的 UltraDomain 任务上展现强劲性能，并具备广域域泛化能力。

ABSTRACT

Processing long contexts presents a significant challenge for large language models (LLMs). While recent advancements allow LLMs to handle much longer contexts than before (e.g., 32K or 128K tokens), it is computationally expensive and can still be insufficient for many applications. Retrieval-Augmented Generation (RAG) is considered a promising strategy to address this problem. However, conventional RAG methods face inherent limitations because of two underlying requirements: 1) explicitly stated queries, and 2) well-structured knowledge. These conditions, however, do not hold in general long-context processing tasks. In this work, we propose MemoRAG, a novel RAG framework empowered by global memory-augmented retrieval. MemoRAG features a dual-system architecture. First, it employs a light but long-range system to create a global memory of the long context. Once a task is presented, it generates draft answers, providing useful clues for the retrieval tools to locate relevant information within the long context. Second, it leverages an expensive but expressive system, which generates the final answer based on the retrieved information. Building upon this fundamental framework, we realize the memory module in the form of KV compression, and reinforce its memorization and cluing capacity from the Generation quality's Feedback (a.k.a. RLGF). In our experiments, MemoRAG achieves superior performances across a variety of long-context evaluation tasks, not only complex scenarios where traditional RAG methods struggle, but also simpler ones where RAG is typically applied.

研究动机与目标

• 解决标准 RAG 在处理模糊信息需求和非结构化知识方面的局限性。
• 提出一种双系统架构，配备长程记忆模型以生成检索线索。
• 实现记忆增强的检索，以提升对大型数据库的覆盖范围和推理能力。
• 通过 UltraDomain 基准展示对多样领域的泛化能力。
• 提供 MemoRAG 的实际部署指南和开源资源。

提出的方法

• 引入一个记忆模块，通过记忆标记将原始输入标记压缩成紧凑的全局记忆。
• 使用轻量级记忆模型来形成记忆标记，使用更强大的生成器基于检索到的证据生成最终答案。
• 对记忆模块进行长上下文的预训练和针对任务特定线索生成的有监督微调训练。
• 将检索过程表示为从记忆 X^m 生成任务特定线索 y, 这些线索引导传统的检索器获取相关上下文。
• 允许灵活整合检索方法（密集/稀疏）和生成器，默认采用密集检索和基于记忆模型的生成。
• 展示基于压缩的记忆，包含 Q/K/V 投影和记忆注意力的方程（Eqs. 3–7）。

实验结果

研究问题

• RQ1 与标准 RAG 相比，MemoRAG 是否能提升对隐式信息需求的检索质量？
• RQ2 全局记忆如何影响跨多跳和长上下文任务的检索？
• RQ3 MemoRAG 是否能在多样领域和非结构化知识源上实现泛化？
• RQ4 记忆增强型 RAG 的实际部署限制和资源需求是什么？
• RQ5 记忆线索是否能保留足够信息，以在不对记忆内容过拟合的情况下引导准确的最终生成？

主要发现

• MemoRAG 在 UltraDomain 的多数据集和设置中优于基线方法。
• 记忆增强方法使对隐式查询和分布式证据汇聚的处理更为有效。
• MemoRAG 显示出强大的领域泛化能力，在域内和域外任务上均表现良好，包括长上下文和长书本问答场景。
• 系统通过记忆压缩支持长上下文长度（可达数十万标记），并提供可配置的压缩比。
• 两种已发布的记忆模型（memorag-qwen2-7b-inst 和 memorag-mistral-7b-inst）可处理非常长的上下文，并且可与各种生成器配对。
• 实验结果表明 MemoRAG 在 UltraDomain 基准上优于 Full context 及若干基线 RAG 方法。