[论文解读] Identifying Weaknesses in Machine Translation Metrics Through Minimum Bayes Risk Decoding: A Case Study for COMET

Chantal Amrhein, Rico Sennrich|arXiv (Cornell University)|Feb 10, 2022

Natural Language Processing Techniques被引用 13

一句话总结

本文提出使用基于样本的最小贝叶斯风险（MBR）解码来揭示神经机器翻译评估指标（如COMET）中的隐藏偏差。通过将指标视为从多样化翻译假设集中选择最优解的效用函数，作者发现COMET对数字和命名实体错误的敏感度不足——尤其在英德及德英翻译方向中表现明显，证明这些缺陷即使在使用合成数据微调后依然存在。

ABSTRACT

Neural metrics have achieved impressive correlation with human judgements in the evaluation of machine translation systems, but before we can safely optimise towards such metrics, we should be aware of (and ideally eliminate) biases toward bad translations that receive high scores. Our experiments show that sample-based Minimum Bayes Risk decoding can be used to explore and quantify such weaknesses. When applying this strategy to COMET for en-de and de-en, we find that COMET models are not sensitive enough to discrepancies in numbers and named entities. We further show that these biases are hard to fully remove by simply training on additional synthetic data and release our code and data for facilitating further experiments.

研究动机与目标

• 识别神经机器翻译评估指标（如COMET）中因黑箱特性而难以察觉的隐藏偏差。
• 探究COMET在翻译过程中对数字和命名实体错误的评估分数是否具备鲁棒性。
• 评估在合成数据上微调COMET是否能完全消除其对这些错误的敏感度缺口。
• 开发并验证一种基于MBR解码与多样化翻译假设的探测指标盲区的方法。
• 提供开源代码与数据，以支持可复现性研究及对评估指标鲁棒性的进一步探索。

提出的方法

• 采用基于样本的MBR解码，即生成一组多样化翻译假设，并使用COMET作为效用函数进行评分。
• 应用MBR解码，以COMET作为评分函数，从一组多样化翻译中选择最优假设。
• 通过修改源句中的数字、命名实体或随机名词，实施针对性扰动，以测量MBR选择输出中敏感度的变化。
• 将COMET评分选出的MBR假设与参考译文及束搜索输出进行比较，量化敏感度差异。
• 在包含扰动示例的合成数据上对COMET进行微调，以测试偏差减少是否可行。
• 开展“最优实验”（oracle experiments），基于与参考译文的相似度选择最佳假设，以隔离MBR假设比较机制的影响。

实验结果

研究问题

• RQ1 当COMET作为MBR解码中的效用函数时，是否对数字和命名实体错误表现出不足的敏感度？
• RQ2 在包含扰动示例的合成数据上微调COMET后，是否能完全消除其对数字和命名实体错误的不敏感性？
• RQ3 与非神经指标（如BLEU和chrF++）相比，COMET结合MBR解码在检测此类错误时表现如何？
• RQ4 观察到的COMET缺陷在多大程度上源于MBR设置，而非指标本身的固有限制？
• RQ5 在en→de和de→en方向中，COMET的这些偏差是否具有鲁棒性？

主要发现

• 当引入数字或命名实体错误时，COMET的MBR得分差异极小，表明其对这些错误的敏感度显著低于对随机名词的修改。
• 在MBR解码中，COMET频繁选择包含错误数字（如将1970误为1980）或错误命名实体（如将'Mahmoud'误为'Mahmud'）的假设，表明存在严重盲区。
• 即使在使用包含扰动示例的合成数据对COMET进行微调后，其对数字和命名实体错误的敏感度仍显著不足，MBR得分差异持续偏低。
• 最优实验结果表明，问题并非源于MBR设置本身，因为基于参考相似度选择最佳假设时性能有所提升；然而，COMET在命名实体错误上的表现仍显著低于非神经指标。
• 敏感度分析显示，对于COMET而言，修改随机名词导致的MBR得分差异大于修改数字或命名实体，表明其存在反直觉的偏差。
• 在en→de和de→en两个方向中，COMET对数字和命名实体错误的敏感度均较低，平均MBR得分差异分别为-0.047和-0.069，表明其在不同语言对中均存在一致的缺陷。