[논문 리뷰] MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation

Hongjin Qian, Zheng Liu외 5명|arXiv (Cornell University)|2024. 09. 09.

Robotics and Automated Systems인용 수 5

한 줄 요약

MemoRAG는 글로벌 컨텍스트를 메모리 토큰으로 압축해 검색을 안내하는 장기 범위 메모리 모듈을 갖춘 듀얼 시스템 검색 강화기를 도입하여 표준 RAG를 넘어서는 암시적 및 긴 컨텍스트 쿼리를 더 잘 처리합니다. 또한 복잡한 UltraDomain 과제와 광범위한 도메인 일반화에서 강력한 성능을 보입니다.

ABSTRACT

Processing long contexts presents a significant challenge for large language models (LLMs). While recent advancements allow LLMs to handle much longer contexts than before (e.g., 32K or 128K tokens), it is computationally expensive and can still be insufficient for many applications. Retrieval-Augmented Generation (RAG) is considered a promising strategy to address this problem. However, conventional RAG methods face inherent limitations because of two underlying requirements: 1) explicitly stated queries, and 2) well-structured knowledge. These conditions, however, do not hold in general long-context processing tasks. In this work, we propose MemoRAG, a novel RAG framework empowered by global memory-augmented retrieval. MemoRAG features a dual-system architecture. First, it employs a light but long-range system to create a global memory of the long context. Once a task is presented, it generates draft answers, providing useful clues for the retrieval tools to locate relevant information within the long context. Second, it leverages an expensive but expressive system, which generates the final answer based on the retrieved information. Building upon this fundamental framework, we realize the memory module in the form of KV compression, and reinforce its memorization and cluing capacity from the Generation quality's Feedback (a.k.a. RLGF). In our experiments, MemoRAG achieves superior performances across a variety of long-context evaluation tasks, not only complex scenarios where traditional RAG methods struggle, but also simpler ones where RAG is typically applied.

연구 동기 및 목표

• 표준 RAG의 모호한 정보 필요와 비구조화된 지식을 다루는 데 있어 한계를 해결한다.
• 검색 단 clues를 생성하기 위한 장기 범위 메모리 모델이 포함된 듀얼 시스템 아키텍처를 제안한다.
• 대형 데이터베이스에 대한 커버리지와 추론을 개선하기 위해 메모리 강화 검색을 가능하게 한다.
• UltraDomain 벤치마크를 통해 다양한 도메인에 대한 일반화를 보여준다.
• MemoRAG에 대한 실용적 배포 가이드와 오픈 소스 리소스를 제공한다.

제안 방법

• 원시 입력 토큰을 메모리 토큰을 통해 콤팩트한 글로벌 메모리로 압축하는 메모리 모듈을 도입한다.
• 경량 메모리 모델로 메모리 토큰을 형성하고, 검색된 증거를 바탕으로 최종 답변을 생성하는 보다 무거운 제너레이터를 사용한다.
• 긴 컨텍스트에서의 사전 학습과 작업 특성 힌트 생성을 위한 감독 미세 조정을 통해 메모리 모듈을 훈련한다.
• 검색 과정을 기억X^m로부터 작업 특성 힌트 y를 생성하는 방식으로 표현하며, 이는 기존 검색기가 관련 컨텍스트를 가져오도록 안내한다.
• 검색 방법(dense/sparse)과 제너레이터의 유연한 통합을 허용하되 기본적으로 dense 검색과 메모리 모델 기반 생성을 사용한다.
• Q/K/V 프로젝션과 메모리 어텐션에 대한 식(Eqs. 3–7)을 포함한 압축 기반 메모리의 작동을 시연한다.

실험 결과

연구 질문

• RQ1 MemoRAG가 표준 RAG에 비해 암시적 정보 필요에 대한 검색 품질을 개선할 수 있는가?
• RQ2 글로벌 메모리가 다중 히트 및 긴 컨텍스트 과제에서 검색에 어떤 영향을 미치는가?
• RQ3 MemoRAG가 다양한 도메인과 비구조화된 지식 소스에 걸쳐 일반화되는가?
• RQ4 메모리 강화 RAG의 실용적 배포 한계 및 자원 요건은 무엇인가?
• RQ5 기억 단서가 기억 내용에 과적합되지 않으면서도 최종 생성을 정확하게 안내할 만큼 충분한 정보를 보존할 수 있는가?

주요 결과

• MemoRAG는 UltraDomain의 다수 데이터셋 및 설정에서 기준선 대비 우수한 성능을 달성한다.
• 메모리 강화 방식은 암시적 쿼리 처리와 분산 증거 수집에 효과적으로 기여한다.
• MemoRAG는 도메인 일반화가 강하고, 도메인 내외 작업에서 잘 수행하며 긴 컨텍스트와 긴 북 QA 시나리오를 포함한다.
• 메모리 압축을 통해 수십만 토큰에 이르는 긴 컨텍스트 길이를 지원하며, 압축 비율을 구성 가능하다.
• 두 가지 공개 메모리 모델(memorag-qwen2-7b-inst 및 memorag-mistral-7b-inst)은 매우 긴 컨텍스트 처리를 가능하게 하며 다양한 제너레이터와 조합할 수 있다.
• 실험 결과 MemoRAG가 UltraDomain 벤치마크에서 Full context 및 여러 기본 RAG 방법을 능가하는 것으로 나타났다.