[논문 리뷰] RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing

Yucheng Hu, Yuxing Lu|arXiv (Cornell University)|2024. 04. 30.

Topic Modeling인용 수 4

한 줄 요약

이 종합적 서베이는 자연어처리(NLP) 분야에서 Retrieval-Augmented Language Models(RALMs)에 대한 포괄적인 개요를 제공하며, Retrieval-Augmented Generation(RAG)과 Retrieval-Augmented Understanding(RAU)을 모두 포함하여 아키텍처, 구성 요소, 발전 과정 및 응용 사례를 상세히 다룬다. 검색 품질, 계산 비용, 내구성 등의 주요 과제를 밝히고, 향후 연구 방향으로는 평가 방법 개선 및 고급 AI 기법과의 통합을 제안한다.

ABSTRACT

Large Language Models (LLMs) have catalyzed significant advancements in Natural Language Processing (NLP), yet they encounter challenges such as hallucination and the need for domain-specific knowledge. To mitigate these, recent methodologies have integrated information retrieved from external resources with LLMs, substantially enhancing their performance across NLP tasks. This survey paper addresses the absence of a comprehensive overview on Retrieval-Augmented Language Models (RALMs), both Retrieval-Augmented Generation (RAG) and Retrieval-Augmented Understanding (RAU), providing an in-depth examination of their paradigm, evolution, taxonomy, and applications. The paper discusses the essential components of RALMs, including Retrievers, Language Models, and Augmentations, and how their interactions lead to diverse model structures and applications. RALMs demonstrate utility in a spectrum of tasks, from translation and dialogue systems to knowledge-intensive applications. The survey includes several evaluation methods of RALMs, emphasizing the importance of robustness, accuracy, and relevance in their assessment. It also acknowledges the limitations of RALMs, particularly in retrieval quality and computational efficiency, offering directions for future research. In conclusion, this survey aims to offer a structured insight into RALMs, their potential, and the avenues for their future development in NLP. The paper is supplemented with a Github Repository containing the surveyed works and resources for further study: https://github.com/2471023025/RALM_Survey.

연구 동기 및 목표

• 자연어처리(NLP) 분야에서 Retrieval-Augmented Generation(RAG)과 Retrieval-Augmented Understanding(RAU)를 동시에 다루는 통합적이고 종합적인 서베이가 부족한 문제를 해결하기 위해.
• RALM 구성 요소—검색기(Retriever), 언어 모델(Language Model), 보완 기법(Augmentation)—및 이들의 상호작용에 대한 상세한 분류 체계와 분석을 제공하기 위해.
• 번역, 대화, 지식 집약적 응용 등 다양한 NLP 작업에서 RALM의 성능, 평가 방법 및 한계를 검토하기 위해.
• 허구적 발현, 검색 품질, 계산 비용, 모델 내구성 등의 주요 과제를 밝히고, 향후 연구 방향을 제안하기 위해.
• 수집된 GitHub 리포지토리와 함께 RALM의 도입 및 발전을 촉진하기 위해.

제안 방법

• 논문은 RALM 문헌에 대한 체계적 서베이를 수행하여, 방법을 RAG(생성 중심) 및 RAU(이해 중심) 파라다임으로 분류한다.
• RALM의 핵심 구성 요소인 검색기(BM25, 신경 검색기 등), 언어 모델(GPT, BERT 등), 보완 메커니즘(프롬프트 튜닝, 검색 기반 미세조정 등)을 분석한다.
• 유사성, 정확도, 내구성에 중점을 둔 메트릭스를 사용해 RALM을 평가하며, 적대적 내구성 테스트를 위한 프로브(SAT, ACT 등)를 활용한다.
• 내부 상태 분석을 통한 기울기 유도 프롬프트 변형(GGPP)과 같은 방법론적 개선을 제안하여 모델 내구성을 향상시킨다.
• 학습 오버헤드를 줄이기 위해 플러그-앤플레이 모듈(CRAG, Selfmem 등), 인터넷에서의 검색, 그리고 컨텍스트 기반 학습을 통한 비용 효율적인 배포 전략을 주장한다.
• 검색 품질, 일반화 능력, 변형에 대한 신뢰성 평가를 고려한 평가 프레임워크의 개선이 필요하다고 강조한다.

실험 결과

연구 질문

• RQ1 Retrieval-Augmented Generation(RAG)과 Retrieval-Augmented Understanding(RAU)는 다양한 NLP 작업에서 설계 및 응용 측면에서 어떻게 다를까?
• RQ2 RALM의 핵심 아키텍처 구성 요소는 무엇이며, 이들의 상호작용은 모델의 행동과 성능에 어떻게 영향을 미치는가?
• RQ3 현재 RALM 시스템의 주요 한계점은 무엇인가? 특히 검색 품질, 계산 효율성, 적대적 입력에 대한 내구성 측면에서.
• RQ4 RALM의 평가 방법론은 어떻게 개선되어야 하며, 이는 실제 성능과 신뢰성 반영에 더 잘 부합할 수 있는가?
• RQ5 RALM의 확장성, 내구성, 응용 다양성을 향상시키기 위한 향후 연구 방향은 무엇인가?

주요 결과

• RALM은 외부 지식 통합을 통해 번역, 대화 시스템, 지식 그래프 완성 등 다양한 NLP 작업에서 성능을 크게 향상시킨다.
• 언어 모델에 검색 기능을 통합함으로써 허구적 발현이 감소하고 사실 기반 일관성이 향상되며, 특히 지식 집약적 응용 분야에서 유의미한 효과가 있다.
• 내구성은 여전히 핵심 과제이며, 기울기 유도 프롬프트 변형(GGPP)과 같은 방법이 기울기 기반 프롬프트 변형 및 내부 상태 탐색을 통해 모델의 저항력을 향상시키는 데 효과가 있음을 보였다.
• 검색 품질은 핵심 요소이며, 데이터 정제(예: 인간 감시) 및 고급 재순서(예: BM25, TF-IDF)를 통한 개선이 출력의 관련성 향상에 기여한다.
• 플러그-앤플레이 모듈(CRAG, Llama Index 등)과 컨텍스트 기반 학습을 통한 비용 효율적 배포 전략은 성능 저하 없이 계산 오버헤드를 줄일 수 있다.
• RALM의 응용 범위는 일반 LLM에 비해 아직 제한되어 있으며, 의사결정 지원, 검색 엔진, 추천 시스템 등 분야로의 확장은 향후 유망한 방향이다.