[論文レビュー] Retrieval-Augmented Generation for Large Language Models: A Survey

Yunfan Gao, Yun Xiong+8 more|arXiv (Cornell University)|Dec 18, 2023

Topic Modeling被引用数 610

ひとこと要約

この調査は Retrieval-Augmented Generation (RAG) を LLM に対して分析し、パラダイム、コアコンポーネント、評価指標、ベンチマーク、将来の研究方向を詳述します。

ABSTRACT

Large Language Models (LLMs) showcase impressive capabilities but encounter challenges like hallucination, outdated knowledge, and non-transparent, untraceable reasoning processes. Retrieval-Augmented Generation (RAG) has emerged as a promising solution by incorporating knowledge from external databases. This enhances the accuracy and credibility of the generation, particularly for knowledge-intensive tasks, and allows for continuous knowledge updates and integration of domain-specific information. RAG synergistically merges LLMs' intrinsic knowledge with the vast, dynamic repositories of external databases. This comprehensive review paper offers a detailed examination of the progression of RAG paradigms, encompassing the Naive RAG, the Advanced RAG, and the Modular RAG. It meticulously scrutinizes the tripartite foundation of RAG frameworks, which includes the retrieval, the generation and the augmentation techniques. The paper highlights the state-of-the-art technologies embedded in each of these critical components, providing a profound understanding of the advancements in RAG systems. Furthermore, this paper introduces up-to-date evaluation framework and benchmark. At the end, this article delineates the challenges currently faced and points out prospective avenues for research and development.

研究の動機と目的

• Naive RAG から Advanced RAG へ、および Modular RAG へと RAG パラダイムの進化を要約する。
• RAG の三分系基盤：リトリーバル、生成、拡張技術を解剖する。
• リトリーバルおよび生成コンポーネントに用いられる最先端技術を調査する。
• RAG モデルの評価指標、ベンチマーク、および現行の評価フレームワークを要約する。
• RAG エコシステムの課題と将来の有望な研究方向を明らかにする。

提案手法

• Naive RAG、Advanced RAG、 Modular RAG に RAG アーキテクチャを分類する。
• RAG システムにおけるリトリーバル、生成、拡張の役割を分析する。
• 各 RAG コンポーネントに組み込まれた最先端技術を調査する。
• RAG モデルを評価するための利用可能な指標とベンチマーク手法を要約する。
• マルチモダリティ、インフラストラクチャ、エコシステム開発などの将来の可能性のある道を論じる。

実験結果

リサーチクエスチョン

• RQ1 RAG の主要なパラダイムは何で、それらはどのように進化してきたか？
• RQ2 RAG システムのリトリーバル、生成、および拡張を構成する技術とコンポーネントは何か？
• RQ3 RAG モデルを評価するためにどのような指標とベンチマークが使われ、どのフレームワークが存在するか？
• RQ4 RAG の研究開発の課題と将来の方向性は何か？

主な発見

• RAG システムは LLM の知識と外部データソースを組み合わせて、精度と信頼性を向上させる。
• この調査は Naive、Advanced、Modular RAG を進化するパラダイムとして概説する。
• 各コンポーネントのコア要素：リトリーバル、生成、拡張を特定し、それぞれの最先端手法を示す。
• 評価指標と RAG のパフォーマンスを評価するためのフレームワークを要約する。
• 本論文はマルチモダリティ拡張と RAG エコシステム開発を含む将来の研究方向を提案する。