[论文解读] Inherent Biases in Reference based Evaluation for Grammatical Error Correction and Text Simplification

Leshem Choshen, Omri Abend|arXiv (Cornell University)|Apr 30, 2018

Text Readability and Simplification参考文献 35被引用 10

一句话总结

本文表明，语法错误纠正（GEC）和文本简化任务中的基于参考的评估存在固有的低覆盖率偏差（LCB），由于有效修正的长尾分布，系统被激励进行最小化、针对性的修正而非全面修正。即使增加参考数量或重新加权得分，LCB也无法切实克服，从而削弱了M2、GLEU和SARI等标准指标的可靠性，这些指标系统性地低估了修正不足的问题，误导了系统开发。

ABSTRACT

The prevalent use of too few references for evaluating text-to-text generation is known to bias estimates of their quality ({\it low coverage bias} or LCB). This paper shows that overcoming LCB in Grammatical Error Correction (GEC) evaluation cannot be attained by re-scaling or by increasing the number of references in any feasible range, contrary to previous suggestions. This is due to the long-tailed distribution of valid corrections for a sentence. Concretely, we show that LCB incentivizes GEC systems to avoid correcting even when they can generate a valid correction. Consequently, existing systems obtain comparable or superior performance compared to humans, by making few but targeted changes to the input. Similar effects on Text Simplification further support our claims.

研究动机与目标

• 调查有限参考集对GEC和文本简化中基于参考评估可靠性的影响。
• 分析低覆盖率偏差（LCB）如何扭曲系统性能排名并误导模型开发。
• 评估重新加权或增加参考数量是否能在实践中有效缓解LCB。
• 提出用于评估有效修正分布及评估度量本身的方法论工具。

提出的方法

• 作者基于人类标注的参考集，在NUCLE测试集上使用自助抽样法（bootstrapping）估计每句话有效修正的真实分布。
• 通过从估计的修正分布Dx中抽样来模拟系统输出，从而在不同参考集下评估‘完美’系统的表现。
• 在不同参考数量（M）下比较标准指标（M2、GLEU、SARI、Accuracy）的覆盖率与偏差。
• 提出MAX-SARI，即SARI的改进版本，通过取单个参考的最大得分来避免多参考评分带来的反直觉效应。
• 在k-best列表（Moses和神经网络模型）上进行重排序实验，评估增加M是否能减少修正不足的问题。
• 在GEC和文本简化任务上均验证了发现，显示两者均存在长尾修正分布和相似的偏差模式。

实验结果

研究问题

• RQ1 低覆盖率参考评估在多大程度上扭曲了GEC系统的性能排名？
• RQ2 重新加权或增加参考数量（M）是否能有效克服GEC评估中的低覆盖率偏差？
• RQ3 有效修正的长尾分布在多大程度上影响了M2和GLEU等标准指标的可靠性？
• RQ4 为何现有GEC系统在标准指标上表现优于人类，尽管其修正数量远少于人类？
• RQ5 SARI的多参考评分机制在多大程度上扭曲了文本简化评估中的覆盖率与可靠性？

主要发现

• NUCLE测试集中平均每个句子拥有超过1,000种有效修正，且分布呈长尾特征，少数修正极为常见，而大多数极为罕见。
• 即使参考数量达到8个，SARI等标准指标也仅覆盖约45%的真实修正空间，且该覆盖率与M基本无关。
• 现有GEC系统存在严重修正不足——其修正数量最多比人类少一个数量级，但在M2和GLEU指标上仍优于人类。
• 增加参考数量可缓解修正不足问题，但收益递减，难以完全解决LCB。
• SARI的多参考评分机制具有反直觉性，可能惩罚与参考完全相同的输出，而MAX-SARI展现出更好的覆盖率与一致性。
• 同样的偏差也存在于文本简化任务中，有效简化方式同样呈长尾分布，且标准指标严重低估了性能。