[论文解读] A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions

Shailja Gupta, Rajesh Ranjan+1 more|arXiv (Cornell University)|Oct 3, 2024

Topic Modeling被引用 18

一句话总结

本综述追踪检索增强生成（RAG）的演进，概述当前的最先进方法，并勾勒在鲁棒性、可扩展性和伦理部署方面的未来方向。

ABSTRACT

This paper presents a comprehensive study of Retrieval-Augmented Generation (RAG), tracing its evolution from foundational concepts to the current state of the art. RAG combines retrieval mechanisms with generative language models to enhance the accuracy of outputs, addressing key limitations of LLMs. The study explores the basic architecture of RAG, focusing on how retrieval and generation are integrated to handle knowledge-intensive tasks. A detailed review of the significant technological advancements in RAG is provided, including key innovations in retrieval-augmented language models and applications across various domains such as question-answering, summarization, and knowledge-based tasks. Recent research breakthroughs are discussed, highlighting novel methods for improving retrieval efficiency. Furthermore, the paper examines ongoing challenges such as scalability, bias, and ethical concerns in deployment. Future research directions are proposed, focusing on improving the robustness of RAG models, expanding the scope of application of RAG models, and addressing societal implications. This survey aims to serve as a foundational resource for researchers and practitioners in understanding the potential of RAG and its trajectory in natural language processing.

研究动机与目标

• 解释在 RAG 中如何将检索与生成集成以解决知识密集型任务。
• 调查 RAG 的基础概念和主要架构变体。
• 总结基于检索的语言模型中的关键技术进展、应用与突破。
• 识别持续存在的挑战（可扩展性、偏见、伦理）并提出未来研究方向。

提出的方法

• 回顾并综合关于 RAG 架构与检索-生成整合的文献。
• 将检索技术与语言模型的进展分类。
• 讨论在问答、摘要和基于知识的任务中的应用。
• 强调聚焦于检索效率与鲁棒性的最新突破。

实验结果

研究问题

• RQ1 检索增强生成中的关键架构组件与集成策略是什么？
• RQ2 在检索效率与与生成模型的集成方面取得了哪些进展？
• RQ3 RAG 系统在可扩展性、偏见和部署伦理方面还存在哪些挑战？
• RQ4 哪些未来方向可以提升鲁棒性和广泛适用性？
• RQ5 RAG 如何在问答和基于知识的任务等领域获得应用？

主要发现

• RAG 将检索与生成模型结合，以提升知识密集型任务的输出。
• 在检索增强语言模型及其在问答、摘要和基于知识的任务中的应用方面取得了显著进展。
• 最新工作突出显示了提高检索效率与系统鲁棒性的方法。
• 本综述讨论了部署中的持续挑战，包括可扩展性、偏见和伦理考量。
• 未来方向强调鲁棒性、更广泛的应用范围以及社会影响方面的考量。