[论文解读] Hierarchical Evaluation Framework: Best Practices for Human Evaluation

Iva Bojić, Jessica Chen+4 more|arXiv (Cornell University)|Oct 3, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种分层评估框架，通过结构化、相互关联的方式对自然语言处理（NLP）系统输入和输出进行标准化的人工评估。该框架提升了系统评估的全面性，验证结果显示，在机器阅读理解（MRC）系统中，输入质量与输出质量之间存在显著关联（χ² = 4.56，p = 0.03）。

ABSTRACT

Human evaluation plays a crucial role in Natural Language Processing (NLP) as it assesses the quality and relevance of developed systems, thereby facilitating their enhancement. However, the absence of widely accepted human evaluation metrics in NLP hampers fair comparisons among different systems and the establishment of universal assessment standards. Through an extensive analysis of existing literature on human evaluation metrics, we identified several gaps in NLP evaluation methodologies. These gaps served as motivation for developing our own hierarchical evaluation framework. The proposed framework offers notable advantages, particularly in providing a more comprehensive representation of the NLP system's performance. We applied this framework to evaluate the developed Machine Reading Comprehension system, which was utilized within a human-AI symbiosis model. The results highlighted the associations between the quality of inputs and outputs, underscoring the necessity to evaluate both components rather than solely focusing on outputs. In future work, we will investigate the potential time-saving benefits of our proposed framework for evaluators assessing NLP systems.

研究动机与目标

• 解决NLP中缺乏标准化人工评估指标的问题，特别是针对系统输入和外部性能评估。
• 通过对173篇近期NLP论文的范围综述，识别当前人工评估实践中的关键缺口。
• 开发一个统一的、分层的评估框架，以捕捉系统特征之间的相互依赖关系。
• 在真实世界的人机协同环境中，利用机器阅读理解（MRC）系统验证该框架。
• 实现对NLP系统更全面、可靠且可扩展的人工评估，超越孤立的输出评估。

提出的方法

• 基于PRISMA-ScR指南，对2019–2023年间发表于ACL、EMNLP、NAACL、EACL、COLING等顶级会议的173篇NLP论文进行范围综述。
• 识别出三大关键缺口：缺乏输入评估指标、未考虑系统特征间的相互依赖关系，以及外部评估指标使用有限。
• 设计一个两阶段分层框架：(1) 测试阶段用于生成输入和输出，(2) 评估阶段使用结构化标准对两者进行打分。
• 定义了输入评估指标，包括相关性、事实性特征、可回答性、语法、拼写和难度；输出指标包括清晰度、相关性、临床准确性及实用性。
• 采用综合评分系统，计算反映输入与输出质量之间相互依赖关系的整体质量得分。
• 在一项试点随机对照试验（RCT）中应用该框架，由10名健康教练评估来自MRC系统的387对问答对。

Figure 1: This PRISMA flow diagram depicts the study selection process throughout this scoping review. 203 studies in total were identified through a search on Google Scholar. After one duplicate was removed, the total remaining studies was 202. After title and abstract screening, 16 studies were ex

实验结果

研究问题

• RQ1 当前NLP系统人工评估实践中，特别是在输入和相互依赖关系方面，存在哪些主要缺口？
• RQ2 标准化的、分层的评估框架如何提升NLP中人工评估的全面性与可靠性？
• RQ3 在人机交互场景中，NLP系统中输入质量与输出质量之间存在何种关系？
• RQ4 所提出的框架能否在真实世界的人机协同模型中实际应用于MRC等NLP系统？
• RQ5 同时评估输入与输出，相较于仅评估输出，能在多大程度上提供更全面的NLP系统性能洞察？

主要发现

• 在MRC系统中发现输入质量与输出质量之间存在显著关联（χ² = 4.56，p = 0.03），表明输入质量对输出表现具有显著影响。
• 分层框架成功捕捉了系统特征之间的相互依赖关系，实现了比孤立指标评估更全面的评估效果。
• 对输入的评估表明，问题难度、语法和可回答性等因素显著影响生成答案的质量。
• 该框架在真实世界的人机协同环境中展现出实际可应用性，10名健康教练评估了387对问答对。
• 结果支持将输入与输出共同评估的必要性，以获得NLP系统有效性的完整图景。
• 该框架显示出良好的可扩展性和时间效率潜力，但未来工作仍需进一步验证。

Figure 2: Search strategy used for the scoping review. After performing 1, we also performed 2-6 to find all papers from individual venues that did not appear after the first combined search.