[论文解读] Context Gates for Neural Machine Translation

Zhaopeng Tu, Yang Liu+3 more|arXiv (Cornell University)|Aug 22, 2016

Natural Language Processing Techniques参考文献 19被引用 15

一句话总结

该论文在神经机器翻译（NMT）中提出上下文门机制，以在解码过程中动态平衡源语言和目标语言上下文的影响，从而在不损失流畅性的前提下提升翻译的充分性。通过在每个解码步骤学习对源语言和目标语言上下文贡献进行加权，该方法在标准注意力机制NMT基础上实现了+2.3 BLEU的性能提升，尤其在长句上增益更显著，并增强了对内容词与功能词处理的鲁棒性。

ABSTRACT

In neural machine translation (NMT), generation of a target word depends on both source and target contexts. We find that source contexts have a direct impact on the adequacy of a translation while target contexts affect the fluency. Intuitively, generation of a content word should rely more on the source context and generation of a functional word should rely more on the target context. Due to the lack of effective control over the influence from source and target contexts, conventional NMT tends to yield fluent but inadequate translations. To address this problem, we propose context gates which dynamically control the ratios at which source and target contexts contribute to the generation of target words. In this way, we can enhance both the adequacy and fluency of NMT with more careful control of the information flow from contexts. Experiments show that our approach significantly improves upon a standard attention-based NMT system by +2.3 BLEU points.

研究动机与目标

• 解决NMT因过度依赖目标上下文而导致翻译流畅但不充分的问题。
• 探究源语言和目标语言上下文在翻译充分性与流畅性中是否具有不同作用。
• 设计一种机制，根据词的类型（内容词与功能词）动态控制上下文贡献。
• 通过可学习的上下文门机制，提升系统在充分性与流畅性之间平衡的能力，从而改善翻译质量。
• 证明上下文门可替代GRU，使用更简单的RNN模型，同时保持性能并提升解码速度。

提出的方法

• 引入上下文门作为可微分的非线性门控单元，输出值在0到1之间，用于控制每个解码步骤中源语言和目标语言上下文的贡献。
• 使用结合源语言上下文 $ \boldsymbol{h}_s $ 和目标语言上下文 $ \boldsymbol{h}_t $ 的门控机制计算上下文门输出 $ z_t $。
• 利用门控输出 $ z_t $ 在源语言和目标语言上下文表示之间进行插值：$ \boldsymbol{h}_t^{\text{gate}} = z_t \boldsymbol{h}_s + (1 - z_t) \boldsymbol{h}_t $。
• 将门控后的上下文表示集成到解码器RNN（GRU或RNN）中，用于生成下一个目标词。
• 采用标准NMT目标端到端训练模型，其中门控参数从数据中学习。
• 在解码器中用标准RNN替代GRU单元，同时使用上下文门，使参数量减少一半，解码过程中的矩阵计算成本降低50%。

实验结果

研究问题

• RQ1 源语言和目标语言上下文的相对影响是否分别与翻译充分性和流畅性相关？
• RQ2 能否通过动态控制源语言和目标语言上下文之间的平衡来提升NMT的翻译质量？
• RQ3 模型在长句或复杂句子上是否从增强源语言上下文影响中获益更多？
• RQ4 上下文门能否替代GRU，同时保持性能并提升推理速度？
• RQ5 上下文门的输出是否与翻译质量相关，特别是与充分性和流畅性相关？

主要发现

• 与标准注意力机制NMT系统相比，上下文门使翻译性能提升+2.3 BLEU点。
• 该方法显著提升了翻译充分性，尤其在长句（≥30个词）上，有效缓解了基线模型的性能下降问题。
• 上下文门权重 $ z_t $ 与翻译性能提升呈正相关，对于长度≥30的句子，相关系数为0.076。
• 上下文门使得GRU单元可被更简单的RNN替代，模型参数量减少一半，解码过程中的矩阵计算成本降低50%。
• 系统在提升充分性的同时保持了高流畅性，如定性分析所示，过度翻译和翻译不足错误均减少。
• 门控权重与翻译质量的相关性在长句中更高，表明源语言上下文对复杂或长输入更为关键。