[论文解读] Dynamic Past and Future for Neural Machine Translation

Zaixiang Zheng, Shujian Huang+3 more|arXiv (Cornell University)|Apr 21, 2019

Topic Modeling参考文献 44被引用 9

一句话总结

本文提出Guided Dynamic Routing（GDR），一种基于胶囊网络的新型机制，在神经机器翻译解码过程中显式地将源词划分为已翻译（Past）和未翻译（Future）两组。通过利用由当前解码状态引导的按一致性的路由变体，GDR 实现了可解释的、动态的上下文建模，提升了翻译的充分性，并在多个语种对上持续优于Transformer和R-NMT。

ABSTRACT

Previous studies have shown that neural machine translation (NMT) models can benefit from explicitly modeling translated (Past) and untranslated (Future) to groups of translated and untranslated contents through parts-to-wholes assignment. The assignment is learned through a novel variant of routing-by-agreement mechanism (Sabour et al., 2017), namely {\em Guided Dynamic Routing}, where the translating status at each decoding step {\em guides} the routing process to assign each source word to its associated group (i.e., translated or untranslated content) represented by a capsule, enabling translation to be made from holistic context. Experiments show that our approach achieves substantial improvements over both RNMT and Transformer by producing more adequate translations. Extensive analysis demonstrates that our method is highly interpretable, which is able to recognize the translated and untranslated contents as expected.

研究动机与目标

• 为解决神经机器翻译中翻译不充分的问题，特别是过度翻译和翻译不足，通过显式建模已翻译和未翻译源内容的动态状态。
• 克服递归状态表示在处理过去和未来内容时的局限性，其不可解释且与Transformer等并行解码器不兼容。
• 通过基于解码状态引导的部件到整体的分配机制，实现源词在可解释性上动态分离为过去和未来两组。
• 开发一种路由机制，学习将源词表示分配给代表过去或未来内容的胶囊，同时具备可解释性与有效性。
• 通过为解码器提供随时间变化的整体源上下文视图，提升翻译质量，增强翻译的充分性与流畅性。

提出的方法

• 该方法将过去和未来的源内容建模为两组胶囊，分别代表已翻译和未翻译源片段的整体表示。
• 提出一种新型路由机制——引导动态路由（GDR），其中路由决策由当前正在生成的目标词引导，以决定每个源词被分配至过去或未来胶囊。
• GDR采用迭代的按一致性路由，使用类似注意力的路由权重，其中当前解码状态影响源词分配至胶囊的概率。
• 通过辅助学习信号优化路由过程，明确鼓励源词被正确分配至过去或未来组，超越端到端训练的限制。
• 过去和未来胶囊状态在每个解码步骤动态更新，并作为解码器中的上下文信息，用于生成更充分的翻译。
• 该模型被集成到R-NMT和Transformer架构中，在保持与并行解码兼容的同时，提升了上下文感知能力。

实验结果

研究问题

• RQ1 显式地将源词划分为过去和未来两组，是否能提升神经机器翻译的质量？
• RQ2 基于胶囊网络、由解码状态引导的路由机制，是否能实现更可解释且更准确的已翻译与未翻译内容追踪？
• RQ3 所提出的引导动态路由机制在翻译充分性与可解释性方面，是否能超越基于递归状态的过去/未来建模方法？
• RQ4 该模型在多大程度上缓解了翻译不充分的问题，特别是在长序列翻译中？
• RQ5 该模型是否在多种语言对上均有效，并与最先进的Transformer架构兼容？

主要发现

• 所提出的模型在中英、英德和英罗翻译任务中，相较于R-NMT和Transformer均取得了显著且一致的性能提升。
• 人工评估确认，该模型生成的翻译更具充分性与高质量，过度翻译和翻译不足现象显著减少。
• 长度分析显示，该模型生成的翻译更长，表明对源内容的覆盖更全面。
• 可视化结果表明，模型成功学习到按预期将源词分离为过去和未来两组，验证了其可解释性。
• 辅助学习信号显著提升了过去/未来分配的准确性，使模型性能在端到端训练之外进一步提升。
• 该模型与Transformer解码器保持兼容，支持并行推理的同时，融入了动态上下文感知能力。