[논문 리뷰] A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models

Wenqi Fan, Yujuan Ding외 6명|arXiv (Cornell University)|2024. 05. 10.

Natural Language Processing Techniques인용 수 14

한 줄 요약

이 조사 연구는 대규모 언어 모델(LLMs) 맥락에서 Retrieval-Augmented Generation(RAG) 기법을 포괄적으로 검토하고, RA-LLMs 아키텍처, 학습 전략 및 응용에 초점을 맞춘다.

ABSTRACT

As one of the most advanced techniques in AI, Retrieval-Augmented Generation (RAG) can offer reliable and up-to-date external knowledge, providing huge convenience for numerous tasks. Particularly in the era of AI-Generated Content (AIGC), the powerful capacity of retrieval in providing additional knowledge enables RAG to assist existing generative AI in producing high-quality outputs. Recently, Large Language Models (LLMs) have demonstrated revolutionary abilities in language understanding and generation, while still facing inherent limitations, such as hallucinations and out-of-date internal knowledge. Given the powerful abilities of RAG in providing the latest and helpful auxiliary information, Retrieval-Augmented Large Language Models (RA-LLMs) have emerged to harness external and authoritative knowledge bases, rather than solely relying on the model's internal knowledge, to augment the generation quality of LLMs. In this survey, we comprehensively review existing research studies in RA-LLMs, covering three primary technical perspectives: architectures, training strategies, and applications. As the preliminary knowledge, we briefly introduce the foundations and recent advances of LLMs. Then, to illustrate the practical significance of RAG for LLMs, we systematically review mainstream relevant work by their architectures, training strategies, and application areas, detailing specifically the challenges of each and the corresponding capabilities of RA-LLMs. Finally, to deliver deeper insights, we discuss current limitations and several promising directions for future research. Updated information about this survey can be found at https://advanced-recommender-systems.github.io/RAG-Meets-LLMs/

연구 동기 및 목표

• RA-LLMs의 맥락을 설정하기 위해 LLM 및 프롬프트의 기초와 발전을 요약한다.
• 아키텍처, 학습 패러다임 및 응용에 따라 RA-LLMs를 체계적으로 분류하여 설계상의 트레이드오프를 강조한다.
• RA-LLMs 내의 검색, 생성 및 증강 구성 요소와 그 상호 의존성에 대해 논의한다.
• 현 상태의 한계를 식별하고 RA-LLMs를 위한 향후 연구 방향을 제시한다.

제안 방법

• 검색, 생성, 증강 등 주요 RA-LLM 구성 요소와 사전/사후 검색 처리의 의사결정 포인트를 검토한다.
• 희소(Sparse) 대 밀집(Dense) 검색기 비교 및 RAG 맥락에서 인코더-디코더 대 디코더-전용 생성기 논의.
• 입력-, 출력-, 중간 층 증강 전략과 화이트박스 대 블랙박스 생성기에의 적용 가능성 분석.
• 검색 데이터 소스(오픈 대 클로즈드, 위키피디아, 인터넷 검색)를 조사하고 이것이 RA-LLM 성능에 미치는 영향.
• RA-LLMs와 관련된 사전학습, 미세조정, 인-context 학습 및 프롬프트 기법을 종합한다.
• RA-LLMs가 효과적인 응용 분야와 도전 과제(오픈QA, 지식 집약적 작업, AIGC)를 요약한다.

실험 결과

연구 질문

• RQ1 현재의 RA-LLMs를 정의하는 아키텍처와 학습 패러다임은 무엇인가?
• RQ2 검색 유형, 세분성, 및 증강 전략이 RA-LLM 성능에 어떤 영향을 미치는가?
• RQ3 RA-LLMs의 주요 응용 분야와 한계는 무엇이며, 어떤 향후 방향이 존재하는가?
• RQ4 데이터 소스 선택(open vs. closed, 인터넷 검색)이 RA-LLM 기능에 어떤 영향을 미치는가?

주요 결과

• RA-LLMs는 검색과 생성을 결합하여 LLM에 최신의 도메인 신뢰 지식을 제공한다.
• 밀집 대 희소 검색은 유연성, 학습 및 성능 측면에서 각각 트레이드오프가 있으며, 사전-미세조정이 대상 작업에서 최상의 결과를 내는 경우가 많다.
• 문서/구절/토큰/엔터티와 같은 서로 다른 검색 세분성은 서로 다른 효율성과 지식 충실도 요구를 목표로 한다.
• 사전 검색 및 사후 검색 개선(쿼리 확장, HyDE, R2G, PRCA, 혼합 필터링)은 검색 품질과 안정성을 향상시킨다.
• 입력-, 출력-, 중간 층 증강 전략은 화이트박스 및 블랙박스 생성기 모두에 검색된 지식의 통합을 가능하게 한다.
• 인터넷 검색 기반 검색은 RA-LLMs를 정적 코퍼라를 넘어 확장하여 최신 지식과 더 넓은 커버리지를 가능하게 한다.