[论文解读] A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods

Daniel Deutsch, Rotem Dror+1 more|arXiv (Cornell University)|Mar 31, 2021

Topic Modeling参考文献 31被引用 5

一句话总结

本文提出了基于重采样方法——自助法（bootstrapping）和置换法（permutation）——来计算摘要评估指标与人类判断相关性的置信区间并进行假设检验。通过模拟实验和真实世界分析，发现当前指标的可靠性存在高度不确定性，并表明在多个场景下，QAEval 和 BERTScore 显著优于 ROUGE，为文本生成任务中的指标评估提供了统计严谨的框架。

ABSTRACT

The quality of a summarization evaluation metric is quantified by calculating the correlation between its scores and human annotations across a large number of summaries. Currently, it is unclear how precise these correlation estimates are, nor whether differences between two metrics' correlations reflect a true difference or if it is due to mere chance. In this work, we address these two problems by proposing methods for calculating confidence intervals and running hypothesis tests for correlations using two resampling methods, bootstrapping and permutation. After evaluating which of the proposed methods is most appropriate for summarization through two simulation experiments, we analyze the results of applying these methods to several different automatic evaluation metrics across three sets of human annotations. We find that the confidence intervals are rather wide, demonstrating high uncertainty in the reliability of automatic metrics. Further, although many metrics fail to show statistical improvements over ROUGE, two recent works, QAEval and BERTScore, do in some evaluation settings.

研究动机与目标

• 解决摘要评估指标相关性缺乏置信区间和假设检验的问题。
• 确定在摘要场景中，哪种重采样方法——自助法或置换法——在泛化到保留数据时表现最佳。
• 评估不同指标相关性差异的统计显著性，特别是相对于 ROUGE 的比较。
• 为比较自动摘要指标提供一种标准化的非参数统计框架。
• 基于三个由人工标注的数据集的实证数据，评估当前指标的可靠性和区分能力。

提出的方法

• 提出三种自助法技术，通过同时重采样系统和输入，假设两者均存在变异性，以提升泛化能力。
• 引入三种基于置换的方法，在零假设（即无差异）下对指标得分与人类评分矩阵进行重采样。
• 使用自助法估计自动指标与人类判断之间相关系数的置信区间。
• 采用置换检验比较不同指标间相关性差异的统计显著性。
• 通过两个模拟实验验证方法选择：一个用于置信区间泛化性评估，另一个用于统计功效比较。
• 将选定的方法应用于三个摘要数据集的真实世界数据，以估计相关性、置信区间和 p 值。

实验结果

研究问题

• RQ1 在摘要评估中，哪种重采样方法——自助法或置换法——产生的置信区间在泛化到保留数据时表现最佳？
• RQ2 在比较摘要中指标相关性时，基于置换的假设检验是否比自助法或 Williams 检验具有更高的统计功效？
• RQ3 在不同数据集中，自动摘要指标与人类判断的相关性估计值的不确定性有多大？
• RQ4 在相关性与人类判断方面，哪些自动评估指标——如 ROUGE、QAEval、BERTScore 等——相对于 ROUGE 实现了统计显著的改进？
• RQ5 输入文档属性或标注实践的差异在多大程度上影响指标性能和相关性稳定性？

主要发现

• 摘要指标相关性的置信区间始终很宽，表明当前指标的可靠性存在高度不确定性。
• 假设系统和输入均存在变异性（即同时重采样系统和输入）的自助法在泛化到保留数据时表现最佳，优于固定系统或固定输入的变体。
• 基于置换的假设检验比自助法和 Williams 检验具有更高的统计功效，尤其是在摘要任务中通常相关性值较低的情况下。
• 在多个评估场景中，QAEval 和 BERTScore 相对于 ROUGE 实现了统计显著的改进，而其他指标则没有一致地优于 ROUGE。
• 结果表明，许多报告的指标性能差异可能源于随机偶然性而非真实优越性，凸显了进行严格统计检验的必要性。
• 所提出的重采样方法具有良好的可推广性，可应用于其他文本生成任务（如机器翻译），这些任务也面临类似的评估挑战。