[论文解读] Improving Neural Machine Translation through Phrase-based Forced Decoding

Jingyi Zhang, Masao Utiyama+3 more|arXiv (Cornell University)|Nov 1, 2017

Natural Language Processing Techniques参考文献 26被引用 9

一句话总结

本文提出一种基于短语的强制解码方法，通过利用现有的基于短语的SMT模型计算NMT输出的解码代价，实现对n-best NMT假设的重排序，从而提升神经机器翻译（NMT）性能。该方法采用软强制解码算法，通过源词删除和目标词插入处理词汇表外的NMT输出，显著提升了四种语言对的翻译充分性，且未牺牲流畅性。

ABSTRACT

Compared to traditional statistical machine translation (SMT), neural machine translation (NMT) often sacrifices adequacy for the sake of fluency. We propose a method to combine the advantages of traditional SMT and NMT by exploiting an existing phrase-based SMT model to compute the phrase-based decoding cost for an NMT output and then using this cost to rerank the n-best NMT outputs. The main challenge in implementing this approach is that NMT outputs may not be in the search space of the standard phrase-based decoding algorithm, because the search space of phrase-based SMT is limited by the phrase-based translation rule table. We propose a soft forced decoding algorithm, which can always successfully find a decoding path for any NMT output. We show that using the forced decoding cost to rerank the NMT outputs can successfully improve translation quality on four different language pairs.

研究动机与目标

• 为解决NMT模型常产生过度翻译、翻译不足或无关翻译的问题，尽管其流畅性较高。
• 将NMT的流畅性与基于短语的SMT的结构约束相结合，以提升翻译充分性。
• 开发一种可处理任意NMT输出的解码方法，即使其不在标准的基于短语的SMT搜索空间内。
• 通过使用随机采样而非束搜索生成更具多样性的n-best列表，提升NMT重排序的多样性。
• 证明基于短语的解码代价可有效识别并惩罚不充分的翻译，如无关或错位的短语。

提出的方法

• 该方法使用现有的基于短语的SMT模型，为每个NMT生成的翻译计算基于短语的解码代价，随后用于重排序n-best NMT输出。
• 提出一种软强制解码算法，通过允许上下文敏感惩罚的源词删除和目标词插入，处理不在标准基于短语的搜索空间内的NMT输出。
• 为内容词设置更高的惩罚，为功能词设置较低的惩罚，以反映其在翻译过程中被遗漏或插入的可能性。
• 通过从NMT模型中进行随机采样生成用于重排序的n-best列表，以增加多样性，避免标准束搜索中常见的冗余。
• 解码代价使用标准的基于短语的翻译规则计算，分数源自从词对齐的训练数据中提取的短语表。
• 最终翻译基于最低的基于短语的解码代价选择，该代价对错误或缺失的翻译施加了强烈惩罚。

实验结果

研究问题

• RQ1 基于短语的SMT解码代价能否有效识别并惩罚NMT翻译中的不充分现象，如过度翻译、翻译不足或无关短语？
• RQ2 如何将基于短语的解码算法适配以处理可能无法用标准基于短语的搜索空间表达的任意NMT输出？
• RQ3 使用考虑内容词与功能词的软强制解码方法，是否能在不降低流畅性的前提下提升翻译充分性？
• RQ4 使用基于短语的解码代价对NMT输出进行重排序，是否能在多种语言对上实现一致的性能提升？
• RQ5 所提出的方法是否具有鲁棒性，即在任何测试样本上均不会降低翻译质量？

主要发现

• 所提方法在四种语言对（英译中、英译日、英译德、英译法）上均显著提升了翻译质量。
• 人工评估显示，强制解码代价成功减少了100个测试句中26句的无关、过度及翻译不足现象，且在73句中未出现质量下降，证明了其鲁棒性。
• 即使基线NMT系统已包含离散词典特征，该方法仍能提升翻译性能，表明其具有强大的互补增益。
• 当NMT性能已显著优于PBMT时，使用NMT得分对PBMT输出进行重排序并未超越基线NMT系统，凸显了所提NMT重排序方法的优越性。
• 软强制解码算法成功为每个NMT输出计算了解码路径，即使这些输出无法直接用基于短语的规则表表达，通过允许带上下文敏感惩罚的删除与插入操作实现。
• 使用随机采样生成n-best列表相比束搜索更具多样性，这对有效重排序至关重要。