[论文解读] Initial Nugget Evaluation Results for the TREC 2024 RAG Track with the AutoNuggetizer Framework

Ronak Pradeep, Nandan Thakur+4 more|arXiv (Cornell University)|Nov 14, 2024

Geophysics and Gravity Measurements被引用 6

一句话总结

该论文初步评估了 AutoNuggetizer 框架在 TREC 2024 RAG 上的表现，显示在 21 个主题和 45 次运行中，完全自动的 nugget 评估与大多数手动 nugget 评估之间存在很强的相关性。

ABSTRACT

This report provides an initial look at partial results from the TREC 2024 Retrieval-Augmented Generation (RAG) Track. We have identified RAG evaluation as a barrier to continued progress in information access (and more broadly, natural language processing and artificial intelligence), and it is our hope that we can contribute to tackling the many challenges in this space. The central hypothesis we explore in this work is that the nugget evaluation methodology, originally developed for the TREC Question Answering Track in 2003, provides a solid foundation for evaluating RAG systems. As such, our efforts have focused on "refactoring" this methodology, specifically applying large language models to both automatically create nuggets and to automatically assign nuggets to system answers. We call this the AutoNuggetizer framework. Within the TREC setup, we are able to calibrate our fully automatic process against a manual process whereby nuggets are created by human assessors semi-manually and then assigned manually to system answers. Based on initial results across 21 topics from 45 runs, we observe a strong correlation between scores derived from a fully automatic nugget evaluation and a (mostly) manual nugget evaluation by human assessors. This suggests that our fully automatic evaluation process can be used to guide future iterations of RAG systems.

研究动机与目标

• 评估在 RAG 赛道中，完全自动的 nugget 评估是否能够替代手动 nugget 评估。
• 使用大语言模型（LLMs）对 RAG 重构并应用 nugget 评估方法。
• 将自动 nugget 生成与分配对比半手动/手动人类评估进行校准。
• 提供实验结果以指导未来的 RAG 系统迭代。

提出的方法

• 将 Voorhees（2003）的 nugget 评估方法重构用于使用 LLM 的 RAG。
• 使用 GPT-4o 从相关文档自动生成 nuggets（AutoNuggets）。
• 使用逐项/列表式的 LLM 方法将 nuggets 自动分配给系统答案（AutoAssign）。
• 使用 NIST 评估员将完全自动的 Nugget 评估与（大部分）手动的人类评估进行比较。
• 在 21 个主题上进行 45 次运行评估，以评估自动与手动评估之间的相关性。

实验结果

研究问题

• RQ1 完全自动的 nugget 评估是否与人工评估者的手动 nugget 评估一致？
• RQ2 AutoNuggetizer 是否能够提供可靠的自动评估来指导未来的 RAG 系统迭代？
• RQ3 自动 Nugget 创建与分配变体相对于半手动方法的表现如何？

主要发现

• 初步结果显示，来自完全自动 nugget 评估的分数与人类评估者的（大多数是）手动 nugget 评估之间存在较强相关性。
• 该研究分析了 21 个主题，覆盖 45 次运行，以得出关于自动评估方法的结论。
• AutoNuggetizer 框架利用 LLMs 同时创建 nuggets 并将它们分配给系统答案，从而实现端到端的自动评估流程。
• 通过将自动 nugget 的创建/分配与 TREC 设置中的半手动/手动过程进行比较来进行校准。