[논문 리뷰] A Survey on Retrieval-Augmented Text Generation for Large Language Models

Yizheng Huang, Jimmy Xiangji Huang|arXiv (Cornell University)|2024. 04. 17.

Topic Modeling인용 수 19

한 줄 요약

이 설문은 Retrieval-Augmented Generation (RAG)를 LLM을 위한 네 단계로 조직한다—사전 검색(pre-retrieval), 검색(retrieval), 사후 검색(post-retrieval), 생성(generation)—핵심 기술, 진화, 평가, 및 텍스트 데이터 응용의 향후 방향을 검토한다.

ABSTRACT

Retrieval-Augmented Generation (RAG) merges retrieval methods with deep learning advancements to address the static limitations of large language models (LLMs) by enabling the dynamic integration of up-to-date external information. This methodology, focusing primarily on the text domain, provides a cost-effective solution to the generation of plausible but possibly incorrect responses by LLMs, thereby enhancing the accuracy and reliability of their outputs through the use of real-world data. As RAG grows in complexity and incorporates multiple concepts that can influence its performance, this paper organizes the RAG paradigm into four categories: pre-retrieval, retrieval, post-retrieval, and generation, offering a detailed perspective from the retrieval viewpoint. It outlines RAG's evolution and discusses the field's progression through the analysis of significant studies. Additionally, the paper introduces evaluation methods for RAG, addressing the challenges faced and proposing future research directions. By offering an organized framework and categorization, the study aims to consolidate existing research on RAG, clarify its technological underpinnings, and highlight its potential to broaden the adaptability and applications of LLMs.

연구 동기 및 목표

• RAG와 그 네 단계 워크플로우(pre-retrieval, retrieval, post-retrieval, generation)를 이해하기 위한 구조화된 프레임워크를 제공한다.
• 용어를 명확히 하고 주요 연구들에 걸친 방법을 분류하여 현장의 혼동을 줄인다.
• 검색과 생성에서의 핵심 기술과 강점을 분석하여 LLM의 신뢰도와 최신성을 향상시킨다.
• 텍스트 기반 RAG의 평가 접근법을 요약하고 도전 과제 및 향후 연구 방향을 강조한다.

제안 방법

• 사전 검색(pre-retrieval), 검색(retrieval), 사후 검색(post-retrieval), 생성(generation)으로 구성된 네 단계 워크플로우를 갖춘 통합 RAG 프레임워크를 제시한다.
• RAG 연구 전반에 사용되는 인덱싱, 검색, 재정렬, 필터링 및 생성 기법을 조사한다.
• 인덱싱 및 질의 조작을 포함한 사전 검색 구성요소를 논의하며, 시맨틱 인덱싱(예: kNN-LMs, FAISS) 및 질의 재구성을 포함한다.
• 검색 및 랭킹, 멀티홉 vs 싱글홉, 재랭킹 전략을 포함한 검색 방법을 설명한다.
• 생성에 대한 문서 선택을 개선하기 위한 재랭킹 및 필터링과 같은 사후 검색 단계를 개요한다.
• 검색된 증거를 출력에 향상시키고, 맞춤화하며 통합하는 생성 전략을 요약한다.

실험 결과

연구 질문

• RQ1 LLMs를 위한 Retrieval-Augmented Generation(RAG)의 주요 단계와 핵심 기술은 무엇인가?
• RQ2 인덱싱, 검색, 사후 검색 처리 및 생성 방법이 핵심 RAG 연구에서 어떻게 진화해 왔는가?
• RQ3 RAG 시스템을 평가하는 방법은 무엇이며 남아 있는 도전과제는 무엇인가?
• RQ4 RAG 연구를 위한 향후 방향과 다중모달 확장이 제안되는가?

주요 결과

• RAG 프레임워크는 네 단계로 조직되어 있다: 사전 검색(pre-retrieval), 검색(retrieval), 사후 검색(post-retrieval), 생성(generation), 단일 홉과 다중 홉 검색 워크플로우 모두 포함.
• 인덱싱의 핵심 기술로는 시맨틱 벡터 표현과 FAISS 기반 도구가 있어 대용량 코퍼로부터 효율적으로 검색 가능.
• 검색은 BM25, DPR, 교차-주목 기반 모델 등 다양한 백본과 함께 검색 및 랭킹을 활용하며 재랭킹 및 필터링으로 보완된다.
• 생성은 검색된 증거를 질의와 결합하고, 관련성, 충실성 및 사용자 정렬에 대한 향상을 위한 강화 및 맞춤화 단계를 사용한다.
• 다양한 평가 접근 방식과 향후 연구 방향이 확인되며, 최신 정보 접근성 및 작업별 맞춤화의 도전 과제가 포함된다.
• 다수의 연구들(예: REALM, kNN-LMs, RAG, FiD, WebGPT, RETRO)이 그들의 리트리버/생성기 조합과 능력을 목록화한다.