[论文解读] CRAG -- Comprehensive RAG Benchmark

Xiao Yang, Kai Sun+25 more|arXiv (Cornell University)|Jun 7, 2024

Medical Imaging Techniques and Applications被引用 7

一句话总结

CRAG 提供一个 4,409 题的 RAG 基准测试，包含模拟网页与知识图谱检索，以评估在现实动态性与多样性下的事实性问答，凸显现有 RAG 系统的差距。

ABSTRACT

Retrieval-Augmented Generation (RAG) has recently emerged as a promising solution to alleviate Large Language Model (LLM)'s deficiency in lack of knowledge. Existing RAG datasets, however, do not adequately represent the diverse and dynamic nature of real-world Question Answering (QA) tasks. To bridge this gap, we introduce the Comprehensive RAG Benchmark (CRAG), a factual question answering benchmark of 4,409 question-answer pairs and mock APIs to simulate web and Knowledge Graph (KG) search. CRAG is designed to encapsulate a diverse array of questions across five domains and eight question categories, reflecting varied entity popularity from popular to long-tail, and temporal dynamisms ranging from years to seconds. Our evaluation of this benchmark highlights the gap to fully trustworthy QA. Whereas most advanced LLMs achieve <=34% accuracy on CRAG, adding RAG in a straightforward manner improves the accuracy only to 44%. State-of-the-art industry RAG solutions only answer 63% of questions without any hallucination. CRAG also reveals much lower accuracy in answering questions regarding facts with higher dynamism, lower popularity, or higher complexity, suggesting future research directions. The CRAG benchmark laid the groundwork for a KDD Cup 2024 challenge and attracted thousands of participants and submissions. We commit to maintaining CRAG to serve research communities in advancing RAG solutions and general QA solutions. CRAG is available at https://github.com/facebookresearch/CRAG/.

研究动机与目标

• 令现实、多样且长期有效的 RAG 基准测试的创建成为现实，以反映真实世界的问答挑战。
• presenting CRAG 数据集，涵盖五个领域和八种问题类型，共 4,409 道问答对。
• 提出一个多任务评估框架，区分幻觉、遗漏与正确答案，以实现可可靠的比较。
• 展示基线大型语言模型和前沿 RAG 的性能，以识别差距与未来研究方向。

提出的方法

• 设计三种检索任务：仅网页检索、KG 加网页检索增强，以及具有更大网页候选池的端到端 RAG。
• 创建 4,409 对问答对（KG 派生和网页派生），横跨五个领域和八种问题类型，具有多样的动态性与流行度。
• 提供模拟检索 API，且每题最多可含 50 个网页，以模拟现实世界的搜索与 KG 访问。
• 定义一个包含四个标签的评分系统（完美、可接受、缺失、错误），并计算一个对幻觉惩罚更重的 Score h。
• 同时使用人工评估与两位自动评估者（ChatGPT 和 Llama 3）来估算准确率、幻觉率与遗漏率，并报告所有评估者的平均值。

实验结果

研究问题

• RQ1 直观的 RAG 设置在 CRAG 上相较于仅 LLM 的方法，是否能提升问答准确率？
• RQ2 网页检索、结构化 KG 查询与更大检索候选池如何影响不同问题切片的准确率与幻觉率？
• RQ3 在 CRAG 上，哪些维度（领域、动态性、流行度、问题类型）对当前 RAG 系统最具挑战性？
• RQ4 行业 SOTA RAG 系统在实现对 CRAG 的无幻觉、完全可信问答方面还存在哪些差距？

主要发现

• 仅 LLM 的解决方案在 CRAG 上的准确率最高可达 34%。
• 直接的 RAG 将准确率提升至最高 44%。
• 行业 SOTA RAG 解决方案能在无幻觉的情况下回答 63% 的问题，但仍有显著提升空间。
• 对实时/快速变化的事实、尾部实体和复杂问题（集合、后处理、错误前提）来说，性能会下降。
• KG+网页（任务 2）通常比网页单独任务（任务 1）获得更高分数，表明结构化数据有帮助，尽管增益有限。
• 端到端 RAG（任务 3）在拥有更多网页的情况下比任务 2 提升召回率和性能，强调搜索排序的重要性。
• SOTA 系统在原始分数方面表现更好，但幻觉率仍显著（17-25%），凸显可信度挑战。