[论文解读] Evaluation of Retrieval-Augmented Generation: A Survey

Hao Yu, Aoran Gan+4 more|arXiv (Cornell University)|May 13, 2024

Algorithms and Data Compression被引用 16

一句话总结

这个综述分析如何评估 Retrieval-Augmented Generation (RAG) 系统，并提出 RGAR 框架以在基准和数据集上评估检索、生成以及额外需求。

ABSTRACT

Retrieval-Augmented Generation (RAG) has recently gained traction in natural language processing. Numerous studies and real-world applications are leveraging its ability to enhance generative models through external information retrieval. Evaluating these RAG systems, however, poses unique challenges due to their hybrid structure and reliance on dynamic knowledge sources. To better understand these challenges, we conduct A Unified Evaluation Process of RAG (Auepora) and aim to provide a comprehensive overview of the evaluation and benchmarks of RAG systems. Specifically, we examine and compare several quantifiable metrics of the Retrieval and Generation components, such as relevance, accuracy, and faithfulness, within the current RAG benchmarks, encompassing the possible output and ground truth pairs. We then analyze the various datasets and metrics, discuss the limitations of current benchmarks, and suggest potential directions to advance the field of RAG benchmarks.

研究动机与目标

• 确定评估混合型 RAG 系统（检索、生成及整体系统）时的挑战
• 提出 RGAR，作为 RAG 基准分析的系统框架
• 调研现有的 RAG 基准与数据集，以描绘优点、局限性与差距
• 讨论在 RAG 研究中使用的评估指标与实验设置
• 提供未来更具自适应性的 RAG 评估方法方向

提出的方法

• 用 Target、Dataset 和 Metrics 模块定义 RGAR 框架，以分析与真实值对比的可评估输出
• 将检索目标分为相关性与准确性，使用 Relevant Documents 对比 Query 和 Documents Candidates
• 将生成目标分为相关性、真实度（faithfulness）与正确性，与查询和真实答案进行对比
• 调研并对 12 个 RAG 评估框架、工具与基准进行分类
• 讨论评估数据集及其构建方式（新闻、WikiEval、NQ、HotpotQA、FEVER 等）
• 概述检索与生成的标准与新颖指标，包括将大模型作为评估者的用法

实验结果

研究问题

• RQ1 在检索、生成及整体性能方面评估 RAG 系统的核心挑战是什么？
• RQ2 如何让分析框架（RGAR）系统性地在目标、数据集与指标上评估 RAG 基准？
• RQ3 现有 RAG 基准和数据集在评估现实世界性能方面的优势与局限是什么？
• RQ4 哪些指标与评估实践能最好地捕捉检索质量与生成保真度之间的相互作用？
• RQ5 将来哪些方向可以推动标准化、适应性强且用户对齐的 RAG 评估？

主要发现

• 论文指出了检索、生成以及整体 RAG 系统的不同评估挑战。
• 提出 RGAR 作为分析框架，覆盖目标、数据集和指标，以进行全面的 RAGBenchmark 评估。
• 提供对 12 个现有 RAG 评估框架、基准和数据集的综合分析，突出优点与空白。
• 讨论的指标和评估实践包括相关性、准确性、真实性、正确性，以及延迟和多样性等额外要求。
• 讨论强调需要自适应、上下文感知的基准以及比传统的准确性或相关性更细致的指标。
• 未来方向包括模拟实时信息更新和在 RAG 评估中加入用户反馈循环