[论文解读] Achieving Human Parity on Automatic Chinese to English News Translation

Hany Hassan, Anthony Aue+22 more|arXiv (Cornell University)|Mar 15, 2018

Natural Language Processing Techniques参考文献 17被引用 578

一句话总结

本文为翻译定义了人类平价概念，构建了一个中文→英文的神经机器翻译系统，采用双向学习、深思网络和一致性正则化，并在WMT17新闻数据上展示其与专业人类翻译的平价。

ABSTRACT

Machine translation has made rapid advances in recent years. Millions of people are using it today in online translation systems and mobile applications in order to communicate across language barriers. The question naturally arises whether such systems can approach or achieve parity with human translations. In this paper, we first address the problem of how to define and accurately measure human parity in translation. We then describe Microsoft's machine translation system and measure the quality of its translations on the widely used WMT 2017 news translation task from Chinese to English. We find that our latest neural machine translation system has reached a new state-of-the-art, and that the translation quality is at human parity when compared to professional human translations. We also find that it significantly exceeds the quality of crowd-sourced non-professional translations.

研究动机与目标

• 在新闻领域定义并衡量机器翻译的人类平价。
• 开发一个中文→英文的神经机器翻译系统，以达到与人类翻译的平价。
• 利用双向学习、联合训练和数据筛选来提升翻译质量。

提出的方法

• 采用基于源文本的直接评估进行人工评估，以避免参考偏差。
• 将基于 Transformer 的神经机器翻译作为中文→英文翻译的基础架构。
• 实现双向学习，利用源→目标和目标→源模型来处理有监督和无监督数据。
• 应用带回译的联合训练和半监督目标，以利用双向的单语数据。
• 纳入两种缓解暴露偏差的方法：Deliberation Networks（两步解码）和左右模型之间的一致性正则化。
• 执行数据选择与筛选以提升训练数据质量。
• 展示系统融合以发挥多模型的互补优势。

实验结果

研究问题

• RQ1 翻译中人类平价的一个原理性定义是什么，它如何以统计方式进行衡量？
• RQ2 一个中文→英文的机器翻译系统是否能够在新闻领域数据上达到与专业人类翻译的平价？
• RQ3 双向学习、联合训练以及双向数据利用在翻译质量上各自贡献多少？
• RQ4 两步解码和跨方向的一致性是否能提升生成质量并降低暴露偏差？
• RQ5 数据质量和系统融合如何影响接近人类平价的程度？

主要发现

• 最新的神经机器翻译系统在中文→英文新闻翻译上达到最先进水平的质量水平。
• 该系统的质量在所评估的测试集上在统计上与专业人类翻译没有显著差异。
• 该方法显著超越了来自众包的非专业翻译。
• 双向学习和联合训练能够有效利用单语和双语数据。
• 深思网络和一致性正则化有助于缓解暴露偏差并提升翻译质量。
• 系统融合通过发挥不同模型的互补优势带来进一步提升。