[论文解读] ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems

Jon Saad-Falcon, Omar Khattab+2 more|arXiv (Cornell University)|Nov 16, 2023

Power Systems and Technologies被引用 4

一句话总结

ARES 是一种用于检索增强生成（RAG）系统的自动化评估框架，利用合成数据和微调的轻量级大语言模型（LLM）判官，评估上下文相关性、答案忠实度和答案相关性。通过结合 few-shot prompting、对比微调和预测驱动推理（PPI），仅使用 150 个真人标注数据点即可实现高精度，在上下文相关性和答案相关性评估上平均优于 RAGAS 59.29 和 14.4 个百分点。

ABSTRACT

Evaluating retrieval-augmented generation (RAG) systems traditionally relies on hand annotations for input queries, passages to retrieve, and responses to generate. We introduce ARES, an Automated RAG Evaluation System, for evaluating RAG systems along the dimensions of context relevance, answer faithfulness, and answer relevance. By creating its own synthetic training data, ARES finetunes lightweight LM judges to assess the quality of individual RAG components. To mitigate potential prediction errors, ARES utilizes a small set of human-annotated datapoints for prediction-powered inference (PPI). Across eight different knowledge-intensive tasks in KILT, SuperGLUE, and AIS, ARES accurately evaluates RAG systems while using only a few hundred human annotations during evaluation. Furthermore, ARES judges remain effective across domain shifts, proving accurate even after changing the type of queries and/or documents used in the evaluated RAG systems. We make our code and datasets publicly available on Github.

研究动机与目标

• 解决 RAG 系统人工标注评估的高成本与低可扩展性问题。
• 开发一种自动化、数据高效且在领域迁移下仍保持高精度的评估框架。
• 通过轻量级 LLM 判官和最小人工监督，实现对 RAG 组件的精确、统计基础可靠的评分。
• 通过合成数据定制 LLM 判官以适配特定 RAG 流程，减少对手动提示模板的依赖。
• 通过预测驱动推理（PPI）提供评估分数的置信区间，提升评估结果的可靠性。

提出的方法

• ARES 使用语言模型从领域内文本片段中生成合成的问答对，实现对专用 LLM 判官的高效训练。
• 通过对比学习目标微调三个轻量级 LLM 判官，用于分类上下文相关性、答案忠实度和答案相关性。
• 预测驱动推理（PPI）将高精度 LLM 预测与少量（150 个或更多）真人标注数据点结合，生成评估分数的置信区间。
• 在生成合成数据时，使用领域内查询和答案的 few-shot 示例提示 LLM，确保领域一致性。
• 框架采用 DeBERTa-v3-Large 作为微调判官的基础模型，并在 KILT 和 SuperGLUE 基准上验证性能。
• 使用 GPT-4 生成合成标签，作为人工标注的低成本替代方案，且随着生成标签数量增加，性能持续提升。

Figure 1: Overview of ARES : As inputs, the ARES pipeline requires an in-domain passage set, a human preference validation set of 150 annotated datapoints or more, and five few-shot examples of in-domain queries and answers, which are used for prompting LLMs in synthetic data generation. To prepare

实验结果

研究问题

• RQ1 自动化 RAG 评估框架是否能在极少数人工标注样本（少于 200 个）下实现高精度？
• RQ2 结合合成数据生成与对比微调，在训练专用 LLM 判官用于 RAG 评估方面效果如何？
• RQ3 预测驱动推理（PPI）在多大程度上提升了基于 LLM 的评估分数的可靠性与精确度？
• RQ4 GPT-4 生成的标签能否替代人工标注的偏好数据，同时保持评估精度？
• RQ5 在评估分布外查询或文档时，ARES 判官对领域迁移的鲁棒性如何？

主要发现

• 在六个 KILT 和 SuperGLUE 数据集上，ARES 在上下文相关性评估准确率上平均优于 RAGAS 59.29 个百分点。
• 在相同基准上，ARES 在答案相关性评估中平均准确率比 RAGAS 高出 14.4 个百分点。
• 在 MultiRC 数据集上，ARES 在上下文相关性与答案相关性上分别获得 Kendall’s tau 为 0.28，表明与人类偏好高度一致。
• 当使用 GPT-4 生成的标签替代人工标注时，ARES 在 NQ 数据集上仍保持上下文相关性 Kendall’s tau 为 0.78，答案相关性为 0.72，显示在极小人工输入下仍具强大性能。
• PPI 置信区间范围在各数据集上平均为 8.3%，证明评估分数具有可靠的统计边界。
• ARES 在领域迁移下保持一致性能，包括在 T-Rex（KILT）和 CodeSearchNet 上评估时，Kendall’s tau 分别为 0.38 和 0.28，展现出良好的泛化能力。