[论文解读] Is Neural Machine Translation Ready for Deployment? A Case Study on 30 Translation Directions

Marcin Junczys-Dowmunt, Tomasz Dwojak+1 more|arXiv (Cornell University)|Oct 4, 2016

Natural Language Processing Techniques参考文献 17被引用 150

一句话总结

本论文在 30 个翻译方向上比较短语基 SMT、分层 PB-SMT 和神经机器翻译 (NMT)，使用联合国平行语料库，并介绍 AmuNMT 以实现高效解码和部署考虑。

ABSTRACT

In this paper we provide the largest published comparison of translation quality for phrase-based SMT and neural machine translation across 30 translation directions. For ten directions we also include hierarchical phrase-based MT. Experiments are performed for the recently published United Nations Parallel Corpus v1.0 and its large six-way sentence-aligned subcorpus. In the second part of the paper we investigate aspects of translation speed, introducing AmuNMT, our efficient neural machine translation decoder. We demonstrate that current neural machine translation could already be used for in-production systems when comparing words-per-second ratios.

研究动机与目标

• 评估神经机器翻译相对于短语基 SMT 和 Hiero 在 UN Parallel Corpus v1.0 的 30 个翻译方向上的表现。
• 评估生产环境部署方面的解码速度、延迟和效率。
• 介绍并评估 AmuNMT 作为面向实际部署的高效 NMT 解码器。

提出的方法

• 使用带注意力的编码-解码器（Nematus）以 30k 子词单元（BPE）在 6 种 UN 语言上训练 NMT 模型。
• 使用 UN 的 6 语言完全对齐的子语料库以及每个方向 4,000 句的开发集和 4,000 句的测试集，将 NMT 与 PB-SMT 和 Hiero 进行比较。
• 在完整的 30 方向矩阵上以及涉及英语的对（使用 Hiero 加上扩展的 NMT 训练（最高 2.4M 次迭代））上评估 BLEU。
• 使用预处理步骤包括 Moses 分词器、用于中文分词的 Jieba、以及 BPE 分词；应用子词单位以缓解大词汇量问题。
• 开发并评估 AmuNMT，这是一个高效的 C++ 梯度搜索解码器，支持多 GPU/CPU、词汇表选择和子词整合。

实验结果

研究问题

• RQ1 在一个域内、大规模的设定下，NMT 是否在所有 30 个 UN 翻译方向上与 PB-SMT 竞争甚至优于？
• RQ2 NMT 相对于 PB-SMT 在 BLEU 上的增益是多少，尤其是涉及中文和阿拉伯语的语言对？
• RQ3 Hiero 是否相对 PB-SMT 提供额外的增益，以及扩展的 NMT 训练如何影响性能？
• RQ4 与 Moses 和 Nematus 相比，AmuNMT 是否能够提供生产就绪的解码速度和延迟？

主要发现

• NMT 在所有 30 个方向上与 PB-SMT 相当甚至更好，对包含中文的方向和阿拉伯语方向有显著的 BLEU 增益。
• 当语言对中涉及中文时，NMT 在 BLEU 上比 PB-SMT 提升 7–9 点。
• Hiero 在中文-英文学对上优于 PB-SMT，但未达到 NMT 的提升水平；扩展的 NMT 训练（最高 2M 次迭代）在某些对上带来额外增益（0.3–1.3 BLEU）。
• AmuNMT 提供有竞争力或优越的解码速度，尤其是在 GPU 上；单 GPU 和词汇选择下可达到 865–1,192 词/秒；它在逐句翻译场景中显著降低延迟。
• 最近四个检查点的平均集成将 BLEU 提升最多约 2 点，而在某些设置下平均八个检查点得到类似结果。
• 仅 CPU 的 AmuNMT 和单 GPU 配置可以作为可行的部署选项，AmuNMT 启动时间不足 10 秒，且在某些吞吐量场景下，基于 CPU 的翻译也可用于生产。