[論文レビュー] A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions

Shailja Gupta, Rajesh Ranjan+1 more|arXiv (Cornell University)|Oct 3, 2024

Topic Modeling被引用数 18

ひとこと要約

この調査は Retrieval-Augmented Generation (RAG) の進化を辿り、現在の最先端アプローチを要約し、頑健性・スケーラビリティ・倫理的展開の将来方向性を概説します。

ABSTRACT

This paper presents a comprehensive study of Retrieval-Augmented Generation (RAG), tracing its evolution from foundational concepts to the current state of the art. RAG combines retrieval mechanisms with generative language models to enhance the accuracy of outputs, addressing key limitations of LLMs. The study explores the basic architecture of RAG, focusing on how retrieval and generation are integrated to handle knowledge-intensive tasks. A detailed review of the significant technological advancements in RAG is provided, including key innovations in retrieval-augmented language models and applications across various domains such as question-answering, summarization, and knowledge-based tasks. Recent research breakthroughs are discussed, highlighting novel methods for improving retrieval efficiency. Furthermore, the paper examines ongoing challenges such as scalability, bias, and ethical concerns in deployment. Future research directions are proposed, focusing on improving the robustness of RAG models, expanding the scope of application of RAG models, and addressing societal implications. This survey aims to serve as a foundational resource for researchers and practitioners in understanding the potential of RAG and its trajectory in natural language processing.

研究の動機と目的

• RAGにおいて検索と生成が知識集約的タスクに対処するためにどのように統合されているかを説明する。
• RAGの基礎概念と主要なアーキテクチャ的バリエーションを調査する。
• 検索強化型言語モデルにおける主要な技術的進歩、応用、およびブレークスルーを要約する。
• 継続的な課題（スケーラビリティ、バイアス、倫理）を特定し、将来の研究方向を提案する。

提案手法

• RAGアーキテクチャと検索生成統合に関する文献をレビューし、統合する。
• 検索技術と言語モデルの進歩を分類する。
• QA、要約、知識ベースのタスクにわたる応用を論じる。
• 検索効率と頑健性に焦点を当てた最近のブレークスルーを強調する。

実験結果

リサーチクエスチョン

• RQ1 Retrieval-Augmented Generationにおける主要なアーキテクチャ要素と統合戦略は何か？
• RQ2 検索効率と生成モデルとの統合においてどのような進展が起きているか？
• RQ3 RAGシステムにおけるスケーラビリティ、バイアス、展開倫理の課題は残っているか？
• RQ4 RAGの頑健性と適用範囲を広げる将来の方向性は何か？
• RQ5 QAや知識ベースのタスクなど、さまざまなドメインでRAGをどのように活用できるか？

主な発見

• RAGは検索と生成モデルを組み合わせ、知識集約的タスクの出力を強化する。
• 検索強化型言語モデルとその応用がQA、要約、知識ベースのタスクで重要な進歩を遂げている。
• 最近の研究は検索効率とシステム頑健性を改善する手法を強調している。
• 調査はスケーラビリティ、バイアス、展開時の倫理的配慮などの継続的な課題を論じている。
• 将来の方向性は頑健性、より広い適用範囲、社会的影響の考慮を強調している。