[论文解读] Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese

Yuying Ye, Antonio Toral|arXiv (Cornell University)|Jun 15, 2020

Natural Language Processing Techniques参考文献 27被引用 4

一句话总结

本研究采用与MQM框架对齐的自定义错误分类法，对最先进的Transformer和循环神经网络神经机器翻译（NMT）系统在英译中任务中进行了细粒度的人工评估。结果显示，最佳Transformer系统相比最佳循环系统将总错误率降低了31%，并在22个错误类别中的10个类别中显著优于后者，尤其在流畅性、误译和语法方面表现突出，但在标点符号和排版处理方面表现较差。

ABSTRACT

This research presents a fine-grained human evaluation to compare the Transformer and recurrent approaches to neural machine translation (MT), on the translation direction English-to-Chinese. To this end, we develop an error taxonomy compliant with the Multidimensional Quality Metrics (MQM) framework that is customised to the relevant phenomena of this translation direction. We then conduct an error annotation using this customised error taxonomy on the output of state-of-the-art recurrent- and Transformer-based MT systems on a subset of WMT2019's news test set. The resulting annotation shows that, compared to the best recurrent system, the best Transformer system results in a 31% reduction of the total number of errors and it produced significantly less errors in 10 out of 22 error categories. We also note that two of the systems evaluated do not produce any error for a category that was relevant for this translation direction prior to the advent of NMT systems: Chinese classifiers.

研究动机与目标

• 对Transformer和循环NMT架构在英译中翻译任务中的表现进行详细的人工错误分析。
• 开发一种符合MQM标准的错误分类法，专门针对英译中翻译中特有的语言现象。
• 识别最先进的循环模型与基于Transformer的NMT系统在错误模式上的系统性差异。
• 评估某些历史MT问题（如中文量词和不成对标点）是否已被现代NMT解决。
• 为未来中文NMT质量评估研究提供公开可获取的标注数据和代码。

提出的方法

• 基于MQM框架开发了一套自定义错误分类法，整合了中文特有的问题，如中文量词、功能词和排版。
• 将该分类法应用于手动标注三个NMT系统输出中的错误：一个循环模型和两个基于Transformer的模型，所有模型均在WMT2019新闻测试集上进行训练。
• 两名标注员独立评估翻译结果，通过讨论解决分歧，并测量标注者间一致性。
• 错误类型被划分为22个维度，包括误译、遗漏、添加、流畅性、语法和排版等，其中功能词和词序问题设有子类别。
• 使用配对t检验测试误差率的统计显著性差异，每个错误类别均报告p值。
• 分析聚焦于每1,000个词元的错误率，以实现在不同系统和错误类型间的定量比较。

实验结果

研究问题

• RQ1 在英译中翻译任务中，基于Transformer的NMT系统与循环NMT系统在整体错误率上有何差异？
• RQ2 在哪些具体错误类别中，Transformer架构显著优于循环架构？
• RQ3 现代NMT系统在多大程度上已解决如中文量词和不成对标点等历史性难题？
• RQ4 Transformer架构是否表现出循环模型中不存在的新问题或持续性弱点，特别是在排版准确性方面？
• RQ5 Transformer模型中是否存在提示未来架构或微调改进空间的错误模式？

主要发现

• 最佳Transformer系统（PATECH）相比最佳循环系统将总错误率降低了31%，错误率分别为11.85%和17.93%。
• 在22个错误类别中的10个类别中，Transformer系统显著减少了错误，包括误译（4.50% vs. 7.49%）、流畅性（3.56% vs. 6.45%）和语法（1.83% vs. 3.08%）。
• 与循环模型相比，Transformer系统在误译错误上减少了33%，在流畅性错误上减少了45%。
• 尽管整体表现有所提升，但Transformer系统在排版相关错误上表现不如循环模型，尤其在标点符号（0.37% vs. 0.20%）和多余符号方面。
• 没有系统在“不成对标点”类别中产生错误，仅有一个系统（KSAI）在“量词”类别中产生0.16%的错误率，表明这些问题在现代NMT中已基本解决。
• 两个Transformer系统在错误分布上无统计学显著差异，表明最先进的Transformer模型之间具有高度一致性。