[论文解读] A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models

Wenqi Fan, Yujuan Ding+6 more|arXiv (Cornell University)|May 10, 2024

Natural Language Processing Techniques被引用 14

一句话总结

本综述全面回顾 Retrieval-Augmented Generation (RAG) 技术在大型语言模型 (LLMs) 背景下的应用，重点关注 RA-LLMs 架构、训练策略和应用。

ABSTRACT

As one of the most advanced techniques in AI, Retrieval-Augmented Generation (RAG) can offer reliable and up-to-date external knowledge, providing huge convenience for numerous tasks. Particularly in the era of AI-Generated Content (AIGC), the powerful capacity of retrieval in providing additional knowledge enables RAG to assist existing generative AI in producing high-quality outputs. Recently, Large Language Models (LLMs) have demonstrated revolutionary abilities in language understanding and generation, while still facing inherent limitations, such as hallucinations and out-of-date internal knowledge. Given the powerful abilities of RAG in providing the latest and helpful auxiliary information, Retrieval-Augmented Large Language Models (RA-LLMs) have emerged to harness external and authoritative knowledge bases, rather than solely relying on the model's internal knowledge, to augment the generation quality of LLMs. In this survey, we comprehensively review existing research studies in RA-LLMs, covering three primary technical perspectives: architectures, training strategies, and applications. As the preliminary knowledge, we briefly introduce the foundations and recent advances of LLMs. Then, to illustrate the practical significance of RAG for LLMs, we systematically review mainstream relevant work by their architectures, training strategies, and application areas, detailing specifically the challenges of each and the corresponding capabilities of RA-LLMs. Finally, to deliver deeper insights, we discuss current limitations and several promising directions for future research. Updated information about this survey can be found at https://advanced-recommender-systems.github.io/RAG-Meets-LLMs/

研究动机与目标

• 总结 LLMs 和提示（prompting）的基础与进展，为 RA-LLMs 设置背景。
• 按架构、训练范式和应用对 RA-LLMs 进行系统性分类，以凸显设计取舍。
• 讨论 RA-LLMs 中的检索、生成和增强组件及它们的相互依赖。
• 识别当前局限性并提出 RA-LLMs 的未来研究方向。

提出的方法

• 评估关键的 RA-LLM 组件：检索、生成和增强，以及检索前/检索后处理的决策点。
• 比较稀疏检索器与密集检索器，并在 RAG 场景中讨论编码器-解码器 vs. 仅解码器生成器。
• 分析输入层、输出层和中间层增强策略及它们在白盒 vs. 黑盒生成器中的适用性。
• 评估用于检索的数据源（开放式 vs. 封闭式、维基百科、互联网检索）及其对 RA-LLM 性能的影响。
• 综合训练方法（预训练、微调、上下文学习）与与 RA-LLMs 相关的提示技术。
• 总结 RA-LLMs 在 OpenQA、知识密集型任务、AIGC 等领域的应用场景与挑战。

实验结果

研究问题

• RQ1 当前 RA-LLMs 的架构与训练范式有哪些？
• RQ2 检索类型、粒度和增强策略如何影响 RA-LLM 的性能？
• RQ3 RA-LLMs 的主要应用领域与局限性是什么？存在哪些未来方向？
• RQ4 数据源的选择（开放式 vs. 封闭式、互联网搜索）如何影响 RA-LLM 的能力？

主要发现

• RA-LLMs 将检索与生成结合起来，为 LLM 提供最新且领域可靠的知识。
• 密集检索与稀疏检索各有灵活性、训练和性能方面的权衡，微调通常在目标任务上取得最佳结果。
• 不同的检索粒度（文档、段落、标记、实体）满足不同的效率和知识保真度需求。
• 检索前后增强（查询扩展、HyDE、R2G、PRCA、混合过滤）提升检索质量和鲁棒性。
• 输入层、输出层和中间层增强策略使检索知识能够整合到白箱和黑箱生成器中。
• 基于互联网检索的检索扩展了 RA-LLMs 超越静态语料库，带来最新知识和更广的覆盖。