[论文解读] CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models

Yuanjie Lyu, Zhiyu Li+8 more|arXiv (Cornell University)|Jan 30, 2024

Topic Modeling被引用 7

一句话总结

CRUD-RAG 引入一个全面的中文基准，使用大规模新闻数据集在创建、读取、更新和删除任务中评估 RAG 系统，端到端评估所有 RAG 组件（检索器、知识库、LLM）。

ABSTRACT

Retrieval-Augmented Generation (RAG) is a technique that enhances the capabilities of large language models (LLMs) by incorporating external knowledge sources. This method addresses common LLM limitations, including outdated information and the tendency to produce inaccurate "hallucinated" content. However, the evaluation of RAG systems is challenging, as existing benchmarks are limited in scope and diversity. Most of the current benchmarks predominantly assess question-answering applications, overlooking the broader spectrum of situations where RAG could prove advantageous. Moreover, they only evaluate the performance of the LLM component of the RAG pipeline in the experiments, and neglect the influence of the retrieval component and the external knowledge database. To address these issues, this paper constructs a large-scale and more comprehensive benchmark, and evaluates all the components of RAG systems in various RAG application scenarios. Specifically, we have categorized the range of RAG applications into four distinct types-Create, Read, Update, and Delete (CRUD), each representing a unique use case. "Create" refers to scenarios requiring the generation of original, varied content. "Read" involves responding to intricate questions in knowledge-intensive situations. "Update" focuses on revising and rectifying inaccuracies or inconsistencies in pre-existing texts. "Delete" pertains to the task of summarizing extensive texts into more concise forms. For each of these CRUD categories, we have developed comprehensive datasets to evaluate the performance of RAG systems. We also analyze the effects of various components of the RAG system, such as the retriever, the context length, the knowledge base construction, and the LLM. Finally, we provide useful insights for optimizing the RAG technology for different scenarios.

研究动机与目标

• 通过覆盖多样化的 CRUD 应用场景超越问答，解决缺乏全面 RAG 基准的问题。
• 评估端到端的 RAG 系统性能，包括检索器质量、知识库构建和 LLM 行为。
• 提供数据集和协议，促成对上下文长度、chunk 大小、嵌入模型和检索策略在 CRUD 任务中的系统分析。
• 为在中文环境下的不同应用场景优化 RAG 系统提供实用指南。

提出的方法

• 将 RAG 应用分类为四个 CRUD 类别：创建、读取、更新、删除。
• 从 2023 年 7 月之后发布的规模较大的中文新闻语料库构建四个任务数据集，以确保数据对 LLM 未被见过。
• 提出将端到端答案相似性与 RAG 特定考量结合的评估指标，通过 RAGQuestEval。
• 在实验中系统地改变并研究 RAG 组件，如上下文长度、chunk 大小、嵌入模型、检索策略和 LLM。
• 描述文本续写、多文档摘要、单文档与多文档问答，以及幻觉修改的数据集构建流程。

实验结果

研究问题

• RQ1 不同的 CRUD 场景如何影响检索增强生成系统在中文中的总体有效性？
• RQ2 检索相关因素（上下文长度、chunk 大小、前 k 的数量、嵌入模型）对 CRUD 任务中 RAG 性能的影响有多大？
• RQ3 知识库构建选择如何影响在创造性生成、阅读理解、错误纠正和摘要任务中的 RAG 结果？
• RQ4 像 CRUD-RAG 这样的端到端评估框架能否在多样化任务中可靠评估检索器、知识库和 LLM 之间的交互？
• RQ5 在实际中文语言应用中，优化 RAG 系统可获得哪些实用指南？

主要发现

• 一个全面的基于 CRUD 的基准揭示了 RAG 在创造性生成、知识密集型问答、错误纠正和摘要任务中的性能。
• 该基准显示上下文长度和检索策略对各任务中 RAG 结果的影响。
• 高质量的、基于新闻的检索语料库通过确保使用外部内容而非模型记忆知识来提高评估的有效性。
• 基于 RAGQuestEval 的召回率和精确度提供了在适当情况下将生成与真实参考文献绑定的度量。
• 研究为针对不同 CRUD 用例调整检索器、知识库构建和 LLM 提供了实际建议。