[论文解读] How to Evaluate your Question Answering System Every Day and Still Get Real Work Done

Eric Breck, John D. Burger+5 more|ArXiv.org|Apr 17, 2000

Topic Modeling参考文献 15被引用 40

一句话总结

本文提出 Qaviar，一种用于问答系统的自动化评估系统，通过计算系统响应中词干化内容词与人工生成答案键的召回率来衡量答案正确性。该方法与人工评判者达成 93%-95% 的一致率，并与人工排名的 Kendall’s Tau 相关系数达到 0.920，证明其在开发过程中日常系统评估中具有极强的可靠性。

ABSTRACT

In this paper, we report on Qaviar, an experimental automated evaluation system for question answering applications. The goal of our research was to find an automatically calculated measure that correlates well with human judges' assessment of answer correctness in the context of question answering tasks. Qaviar judges the response by computing recall against the stemmed content words in the human-generated answer key. It counts the answer correct if it exceeds agiven recall threshold. We determined that the answer correctness predicted by Qaviar agreed with the human 93% to 95% of the time. 41 question-answering systems were ranked by both Qaviar and human assessors, and these rankings correlated with a Kendall's Tau measure of 0.920, compared to a correlation of 0.956 between human assessors on the same data.

研究动机与目标

• 开发一种与人工判断问答系统答案正确性高度相关的自动化评估方法。
• 在迭代开发过程中实现每日高效系统评估，无需依赖成本高昂的人工标注。
• 通过提供可扩展、可重复的度量标准，支持问答系统快速调优与配置。
• 以一种能指导系统改进的方式，近似模拟人工对正确性、实用性与理解力的评估。

提出的方法

• Qaviar 计算系统响应中词干化内容词相对于人工生成答案键的召回率。
• 对系统响应和答案键均应用词干化与停用词移除，以实现标准化。
• 若召回率超过预设阈值（例如 50% 或 75%），则判定答案为正确。
• 系统采用二分类机制：若召回率超过阈值则判定为正确，否则为错误。
• 在 TREC 风格的问答任务上，使用标准化答案键评估系统。
• 该方法设计简洁、快速且可扩展，适用于开发周期中的日常使用。

实验结果

研究问题

• RQ1 基于词重叠与召回率的自动化度量是否能与人工对问答系统答案正确性的判断高度相关？
• RQ2 词干化内容词的召回率在多大程度上能预测人工评估的答案正确性？
• RQ3 Qaviar 对系统的排序与人工对系统性能的排序之间相关性如何？
• RQ4 此类自动化系统是否能在不牺牲评估保真度的前提下，支持每日迭代式开发？
• RQ5 在一致性和可靠性方面，Qaviar 的表现与人工评估者相比如何？

主要发现

• Qaviar 对答案正确性的预测与人工判断的一致率达到 93% 至 95%。
• Qaviar 排名与人工排名之间的 Kendall’s Tau 相关系数为 0.920。
• 该相关系数非常接近人工评估者之间在相同数据上观察到的 0.956 相关系数。
• 该系统在开发周期中表现出高度可靠性，适用于日常使用。
• Qaviar 通过提供快速、可重复且准确的评估方法，有效支持迭代式系统改进。
• 该方法显示出作为人工评估可扩展替代方案的潜力，尤其在人工标注不可行时。