[论文解读] On the Evaluation of Machine Translation for Terminology Consistency

Md Mahfuz ibn Alam, Antonios Anastasopoulos+5 more|arXiv (Cornell University)|Jun 22, 2021

Natural Language Processing Techniques被引用 10

一句话总结

本文提出了一套评估神经机器翻译（NMT）术语一致性的度量方法，结合了句子级度量（如TERm）与术语特异性度量（精确匹配准确率和术语窗口重叠）。作者通过在五种语言的新冠肺炎数据上进行实验，证明这些度量能有效区分正确应用术语的NMT系统与未正确应用术语的系统，其在检测术语错误方面优于BLEU等标准度量。

ABSTRACT

As neural machine translation (NMT) systems become an important part of professional translator pipelines, a growing body of work focuses on combining NMT with terminologies. In many scenarios and particularly in cases of domain adaptation, one expects the MT output to adhere to the constraints provided by a terminology. In this work, we propose metrics to measure the consistency of MT output with regards to a domain terminology. We perform studies on the COVID-19 domain over 5 languages, also performing terminology-targeted human evaluation. We open-source the code for computing all proposed metrics: https://github.com/mahfuzibnalam/terminology_evaluation

研究动机与目标

• 解决目前缺乏专门衡量NMT输出术语一致性的评估度量的问题。
• 开发能够检测机器翻译系统是否正确应用领域特定术语的度量，特别是在约束解码或术语增强设置下。
• 通过人工标注数据验证这些度量的表现，确保其与人类判断在术语翻译正确性上保持一致。
• 证明标准度量如BLEU无法检测到术语不一致，即使此类不一致确实存在。
• 提供开源代码，以支持可复现性，并推动在NMT评估流程中的广泛应用。

提出的方法

• 提出三种核心度量：TERm（术语上的TER得分的1减去该得分）、精确匹配准确率（正确翻译术语的比例）以及术语窗口重叠（翻译术语周围语义上下文的一致性）。
• 将这些度量应用于使用TICO-19术语库和测试集，在五组语言对（如英法、英俄）上训练的约束与非约束NMT系统输出上。
• 利用人工标注数据验证度量性能，邀请双语标注员判断术语是否被正确翻译，以及其上下文是否得以保留。
• 结合句子级度量（如BLEU、TERm）与术语特异性度量，评估其在区分正确与错误术语翻译方面的区分能力。
• 在术语增强型NMT系统（TLA）的输出上评估这些度量，以评估其在术语处理方面的改进效果。
• 使用统计显著性检验（p值）评估度量与人类判断之间的相关性，排除p > 0.2的结果。

实验结果

研究问题

• RQ1 现有的NMT评估度量（如BLEU）能否检测到术语翻译中的不一致性？
• RQ2 所提出的度量（TERm、窗口重叠、精确匹配）与人类对术语正确性的判断有多高的相关性？
• RQ3 句子级度量与术语特异性度量的组合能否有效区分正确应用术语与未正确应用术语的MT系统？
• RQ4 术语增强型NMT系统相较于基线系统，在术语一致性方面提升了多少？
• RQ5 窗口重叠是否是MT输出中语境恰当术语使用的一个可靠指标？

主要发现

• 标准度量如BLEU在正确与错误术语翻译的NMT输出之间无显著差异，表明其在术语一致性评估中无效。
• 仅使用TERm度量也难以区分正确与错误的术语翻译，因为它未考虑术语特异性的上下文。
• TERm与术语窗口重叠的组合表现出强大的区分能力，90%的错误或缺失术语翻译在窗口重叠度量上得分较低。
• 人工标注结果证实，高窗口重叠得分与正确术语翻译高度相关（图3中的蓝点），而低分则与错误相关（橙点），表明检测精度高。
• TLA系统（通过目标词形标注引入术语）在四组语言对（En-Ger, En-Est, En-Lit, En-Lat）中，所有术语一致性度量均显著优于基线系统。
• 本研究表明，精确匹配准确率和窗口重叠等度量比标准的语料级度量对术语处理更敏感，尤其在低资源或紧急领域（如新冠肺炎）中。