[논문 리뷰] Retrieval-Augmented Generation for AI-Generated Content: A Survey

Penghao Zhao, Hailin Zhang외 8명|arXiv (Cornell University)|2024. 02. 29.

Topic Modeling인용 수 75

한 줄 요약

RAG에 대한 AI 생성 콘텐츠용 포괄적 고찰로, 기초, 개선, 모달리티 전반의 적용, 벤치마크, 한계 및 향후 방향을 자세히 다룬다.

ABSTRACT

Advancements in model algorithms, the growth of foundational models, and access to high-quality datasets have propelled the evolution of Artificial Intelligence Generated Content (AIGC). Despite its notable successes, AIGC still faces hurdles such as updating knowledge, handling long-tail data, mitigating data leakage, and managing high training and inference costs. Retrieval-Augmented Generation (RAG) has recently emerged as a paradigm to address such challenges. In particular, RAG introduces the information retrieval process, which enhances the generation process by retrieving relevant objects from available data stores, leading to higher accuracy and better robustness. In this paper, we comprehensively review existing efforts that integrate RAG technique into AIGC scenarios. We first classify RAG foundations according to how the retriever augments the generator, distilling the fundamental abstractions of the augmentation methodologies for various retrievers and generators. This unified perspective encompasses all RAG scenarios, illuminating advancements and pivotal technologies that help with potential future progress. We also summarize additional enhancements methods for RAG, facilitating effective engineering and implementation of RAG systems. Then from another view, we survey on practical applications of RAG across different modalities and tasks, offering valuable references for researchers and practitioners. Furthermore, we introduce the benchmarks for RAG, discuss the limitations of current RAG systems, and suggest potential directions for future research. Github: https://github.com/PKU-DAIR/RAG-Survey.

연구 동기 및 목표

• 회수기(retriever)와 생성기(generator) 전반에 걸친 RAG 기초에 대한 체계적인 개요를 제공합니다.
• RAG 시스템을 위한 향상 기법과 실용적 엔지니어링 관행을 요약합니다.
• 텍스트, 코드, 이미지, 오디오, 비디오, KBQA, 과학 등 모달리티 전반의 RAG 응용을 조사합니다.
• RAG 연구 및 실무의 벤치마크, 한계 및 향후 방향을 논의합니다.

제안 방법

• RAG 기초를 네 가지 패러다임으로 분류합니다: 쿼리 기반, 잠재 표현 기반, 로짓 기반 및 기타.
• 생성기 범주(트랜스포머, LSTM, 확산, GAN)와 회수기 범주(희소, 밀집, 그 외)를 설명합니다.
• RAG 파이프라인 개선을 위한 향상 방법과 실용적 구현을 요약합니다.
• 크로스 모달 및 도메인 특화 RAG 응용과 통합 전략(FiD, chunked cross-attention, memory-augmented 접근법)을 검토합니다.
• 벤치마크를 정리하고 현재 한계와 잠재적 향후 방향을 논의합니다.

실험 결과

연구 질문

• RQ1 회수기와 생성기 전반에 걸친 RAG 기초의 근본적 추상은 무엇인가요?
• RQ2 RAG 시스템의 효과성과 효율성을 향상시키기 위해 어떤 향상이 제안되었나요?
• RQ3 AI 생성 콘텐츠의 다양한 모달리티와 작업에서 RAG가 어떻게 적용되고 있나요?
• RQ4 RAG를 평가하기 위한 벤치마크는 무엇이며, 현재의 한계와 향후 방향은 무엇인가요?

주요 결과

• RAG는 입력, 잠재, 또는 로짓 수준에서 검색된 데이터와 상호 작용하여 생성을 보강하는 검색 단계를 도입하며, 모달리티 전반에 적용 가능합니다.
• 네 가지 주요 RAG 기초가 확인되었습니다: 쿼리 기반, 잠재 표현 기반, 로짓 기반, 및 기타 보강 전략.
• 향상 요소로는 크로스 어텐션, Fusion-in-Decoder(FiD), chunked cross-attention, 기억 증강 트랜스포머, 블랙박스 LM용 API 친화적 검색 접근법 등이 포함됩니다.
• RAG 응용은 텍스트, 코드, 오디오, 이미지, 비디오, 3D, 지식 그래프, 과학에 걸치며, FiD, ReMoDiffuse, RETRO 스타일의 기억 통합과 같은 특수한 방법이 있습니다.
• 벤치마크와 논의는 데이터 품질, 검색 효율성, 정렬 등과 같은 한계를 강조하며, 향후 연구 방향에 대한 지침을 제공합니다.