[논문 리뷰] Retrieval-Augmented Generation for Natural Language Processing: A Survey

Shangyu Wu, Ying Xiong외 9명|arXiv (Cornell University)|2024. 07. 18.

Topic Modeling인용 수 13

한 줄 요약

자연어처리를 위한 검색 강화 생성(RAG)에 대한 포괄적 고찰로, 검색기, 융합 전략, 학습 방법, 생성기, 응용 분야 및 향후 도전과제에 대해 다루며 대표적 기법의 튜토리얼 코드도 제공한다.

ABSTRACT

Large language models (LLMs) have demonstrated great success in various fields, benefiting from their huge amount of parameters that store knowledge. However, LLMs still suffer from several key issues, such as hallucination problems, knowledge update issues, and lacking domain-specific expertise. The appearance of retrieval-augmented generation (RAG), which leverages an external knowledge database to augment LLMs, makes up those drawbacks of LLMs. This paper reviews all significant techniques of RAG, especially in the retriever and the retrieval fusions. Besides, tutorial codes are provided for implementing the representative techniques in RAG. This paper further discusses the RAG update, including RAG with/without knowledge update. Then, we introduce RAG evaluation and benchmarking, as well as the application of RAG in representative NLP tasks and industrial scenarios. Finally, this paper discusses RAG's future directions and challenges for promoting this field's development.

연구 동기 및 목표

• 대형 언어모델(LLM)에서의 환각 및 지식 업데이트 문제를 완화하기 위해 외부 지식 저장소를 사용하는 동기를 설명한다.
• 검색기, 데이터스토어 설계, 융합 방법을 포함한 RAG 구성요소를 체계적으로 검토한다.
• 데이터스토어 업데이트 유무에 따른 RAG 학습 전략을 제시한다.
• 자연어처리 과제 및 산업 현장에서의 RAG 응용을 조사한다.
• RAG 연구와 실무를 발전시키기 위한 향후 방향과 도전과제를 식별한다.

제안 방법

• 검색기, 생성기, 및 조회 기반(쿼리 기반), 잠재적, 로짓 기반 융합을 포함하는 RAG 아키텍처를 설명한다.
• 검색기 구성: 말뭉치를 청크로 나누고, 청크를 인코딩하며 벡터 인덱스와 데이터스토어를 구축하는 과정을 자세히 설명한다.
• 검색 융합 기법을 범주화하고 설명한다: 쿼리 기반(텍스트/특성 연결), 로짓 기반(앙상블, 보정), 잠재 기반(주의 기반, 가중 합산).
• 생성기 유형과 조회 보강이 생성기에 어떻게 통합되는지 개략적으로 설명한다.
• 데이터스토어 업데이트 유무에 따른 RAG 학습 접근법과 그 함의를 논의한다.

Figure 1. The overview of retrieval-augmented generation for natural language processing.

실험 결과

연구 질문

• RQ1 자연어처리를 위한 검색 강화 생성에서 핵심 구성 요소와 설계 선택은 무엇인가?
• RQ2 다양한 검색기 아키텍처, 인덱싱 전략, 융합 방법이 RAG 성능에 어떻게 영향을 미치는가?
• RQ3 데이터스토어 업데이트 유무에 따른 효과적인 RAG 학습 전략은 무엇인가?
• RQ4 RAG를 다양한 NLP 과제와 실제 산업 현장에 어떻게 적용할 수 있는가?
• RQ5 RAG를 발전시키는 데 가장 영향력 있는 향후 방향과 도전과제는 무엇인가?

주요 결과

• RAG는 검색기, 융합, 생성기를 결합하여 환각을 완화하고 최신 도메인 지식을 가능하게 한다.
• 검색기는 청크 분할, 인코딩, 그리고 ANN 인덱싱을 사용해 검색용 확장 가능한 데이터스토어를 구축한다.
• 융합 방법은 텍스트/특성 결합의 쿼리 기반, 앙상블/보정의 로짓 기반, 주의 기반의 잠재 융합으로 분류되며, 텍스트/특성, 앙상블, 보정, 주의 메커니즘을 포함한다.
• 데이터스토어 업데이트 유무에 따라 RAG 학습을 수행할 수 있으며, 각각 다른 이점을 제공한다.
• 본 고찰은 대표적 NLP 과제와 산업 맥락에서의 응용을 다루고 향후 방향과 도전과제를 강조한다.

Figure 2. Two stages of using the retriever.