[论文解读] DomainRAG: A Chinese Benchmark for Evaluating Domain-specific Retrieval-Augmented Generation

Shuting Wang, Jiongnan Liu Shiren Song+7 more|arXiv (Cornell University)|Jun 9, 2024

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 DomainRAG，一个用于评估在特定领域场景下检索增强生成（RAG）模型的中文基准，聚焦于高校入学注册场景。该研究通过精心整理的 HTML 和文本语料库，评估大语言模型（LLM）在六项关键能力上的表现——对话理解、结构分析、忠实性、去噪、时间敏感推理以及多文档交互，结果表明，即使先进的 LLM 在缺乏可靠 RAG 增强的情况下，也难以胜任专业领域任务。

ABSTRACT

Retrieval-Augmented Generation (RAG) offers a promising solution to address various limitations of Large Language Models (LLMs), such as hallucination and difficulties in keeping up with real-time updates. This approach is particularly critical in expert and domain-specific applications where LLMs struggle to cover expert knowledge. Therefore, evaluating RAG models in such scenarios is crucial, yet current studies often rely on general knowledge sources like Wikipedia to assess the models' abilities in solving common-sense problems. In this paper, we evaluated LLMs by RAG settings in a domain-specific context, college enrollment. We identified six required abilities for RAG models, including the ability in conversational RAG, analyzing structural information, faithfulness to external knowledge, denoising, solving time-sensitive problems, and understanding multi-document interactions. Each ability has an associated dataset with shared corpora to evaluate the RAG models' performance. We evaluated popular LLMs such as Llama, Baichuan, ChatGLM, and GPT models. Experimental results indicate that existing closed-book LLMs struggle with domain-specific questions, highlighting the need for RAG models to solve expert problems. Moreover, there is room for RAG models to improve their abilities in comprehending conversational history, analyzing structural information, denoising, processing multi-document interactions, and faithfulness in expert knowledge. We expect future studies could solve these problems better.

研究动机与目标

• 为解决检索增强生成（RAG）模型在专家场景下缺乏特定领域评估基准的问题。
• 识别并评估在专业领域中实现有效 RAG 所必需的六项关键能力：对话理解、结构分析、忠实性、去噪、时间敏感推理以及多文档交互。
• 使用外部知识，在一个真实世界、由专家驱动的应用场景——高校入学注册中，评估主流大语言模型（如 Llama、Baichuan、ChatGLM、GPT）的表现。
• 揭示闭卷 LLM 的局限性，并强调 RAG 在实现可靠专家知识检索与生成中的必要性。
• 提供一个可复现、结构化的基准，包含共享语料库与数据集，以支持在特定领域情境下对 RAG 系统进行标准化评估。

提出的方法

• 从中国高等院校官网爬取官方高校入学网页，构建两类语料库：原始文本与结构化 HTML 文档。
• 设计六个子数据集，分别针对特定的 RAG 能力：对话式 RAG、结构化信息分析、对外部知识的忠实性、去噪、时间敏感问题求解以及多文档交互。
• 在相同的外部知识库下，对多种 LLM（Llama、Baichuan、ChatGLM、GPT）在 RAG 设置下进行评估，以确保公平比较。
• 引入受控噪声设置（变化的噪声数量），研究无关文档对模型性能与置信度的影响。
• 通过消融研究比较闭卷设置、黄金参考与噪声参考，评估模型对外部知识的依赖程度。
• 使用黄金参考与反向参考评估忠实性，测量模型是否基于所提供知识生成正确答案，而非依赖自身先验知识。

实验结果

研究问题

• RQ1 与闭卷推理相比，现有 LLM 在高校入学这一特定领域 RAG 设置下的表现如何？
• RQ2 RAG 模型在多轮交互中理解对话历史并保持上下文连贯的能力有多强？
• RQ3 检索文档中的结构化元素（如 HTML 格式）如何影响模型提取与推理相关信息的能力？
• RQ4 噪声或冗余的外部文档对 LLM 生成答案的可靠性与忠实性有何影响？
• RQ5 RAG 模型如何处理知识快速变化的时间敏感问题？能否准确区分当前信息与过时信息？

主要发现

• 在回答特定领域高校入学问题时，闭卷 LLM 表现显著较差，证实了外部知识检索的必要性。
• RAG 模型在理解对话历史方面能力有限，表明在多轮对话理解方面仍有改进空间。
• 模型在去噪方面表现不佳，检索文档中噪声越多，性能通常越差，尽管部分模型在参考文档数量增加时有所受益。
• 与单参考或无参考设置相比，存在多个参考（即使包含噪声）可提升模型的置信度与性能。
• LLM 即使缺乏外部知识也能生成正确答案，表明其依赖自身静态且可能过时的知识——凸显提升对外部来源忠实性的迫切需求。
• 对专家知识的忠实性仍是重大挑战：模型常无法拒绝错误或反向参考，表明存在对外部数据过度依赖而缺乏有效验证的风险。