[论文解读] Asynchronous Bidirectional Decoding for Neural Machine Translation

Xiangwen Zhang, Jinsong Su+4 more|arXiv (Cornell University)|Jan 16, 2018

Natural Language Processing Techniques参考文献 27被引用 32

一句话总结

本文提出异步双向解码（Asynchronous Bidirectional Decoding, ABD）用于神经机器翻译，引入一个从右向左生成的反向解码器，用于生成目标语端的反向上下文，该上下文随后与源语端上下文一起被前向解码器联合注意。该方法在中英翻译和英德翻译任务中分别实现了+3.14 BLEU和+1.38 BLEU的性能提升，通过端到端框架有效利用了双向上下文信息。

ABSTRACT

The dominant neural machine translation (NMT) models apply unified attentional encoder-decoder neural networks for translation. Traditionally, the NMT decoders adopt recurrent neural networks (RNNs) to perform translation in a left-toright manner, leaving the target-side contexts generated from right to left unexploited during translation. In this paper, we equip the conventional attentional encoder-decoder NMT framework with a backward decoder, in order to explore bidirectional decoding for NMT. Attending to the hidden state sequence produced by the encoder, our backward decoder first learns to generate the target-side hidden state sequence from right to left. Then, the forward decoder performs translation in the forward direction, while in each translation prediction timestep, it simultaneously applies two attention models to consider the source-side and reverse target-side hidden states, respectively. With this new architecture, our model is able to fully exploit source- and target-side contexts to improve translation quality altogether. Experimental results on NIST Chinese-English and WMT English-German translation tasks demonstrate that our model achieves substantial improvements over the conventional NMT by 3.14 and 1.38 BLEU points, respectively. The source code of this work can be obtained from https://github.com/DeepLearnXMU/ABDNMT.

研究动机与目标

• 为解决传统神经机器翻译解码器仅使用从左到右的目标语上下文所带来的局限性，这种机制可能导致错误传播并遗漏互补信号。
• 探究从右向左解码生成的反向目标语上下文是否能在整合到前向解码过程中提升翻译质量。
• 设计一种端到端的神经机器翻译框架，联合学习前向和反向解码路径，而无需依赖独立的重排序或独立模型。
• 通过引入来自反向解码器的更丰富、互补的上下文信息，减轻前向上下文中的噪声导致的错误传播。
• 开发一种统一架构，使前向和反向解码器在推理过程中动态协作，从而提升翻译的鲁棒性与准确性。

提出的方法

• 引入一个反向RNN解码器，以从右向左的方式生成目标语隐藏状态，从而编码序列末端的潜在翻译假设。
• 在前向解码器中采用两种独立的注意力机制：一种关注编码器的双向隐藏状态，另一种关注反向解码器的隐藏状态。
• 通过允许前向解码器在每个时间步同时关注源语端和反向目标语表示，实现异步解码。
• 保持端到端训练范式，其中前向和反向解码器联合优化，反向解码器可预先训练或与主模型联合训练，以生成有意义的反向上下文。
• 在前向生成过程中，使用标准注意力机制（如加性注意力）从编码器和反向解码器输出中计算上下文向量。
• 在推理阶段采用束搜索，并同时关注源语和反向目标语表示，实现在无需重排序的情况下实现富含上下文的解码。

实验结果

研究问题

• RQ1 将来自右向左解码的反向目标语上下文整合到从左向右的神经机器翻译模型中，能否提升翻译质量？
• RQ2 同时关注源语端和反向目标语隐藏状态是否能带来更准确、更鲁棒的翻译预测？
• RQ3 一种同步使用前向和反向解码器的端到端框架，是否能超越依赖独立解码器或重排序的模型？
• RQ4 与标准从左向右解码相比，所提出的双向解码机制在错误传播方面有何影响？
• RQ5 反向解码器所学习到的反向上下文表示在多大程度上促进了更好的翻译性能？

主要发现

• 所提出的异步双向解码（ABD）模型在NIST中英翻译基准上相比标准神经机器翻译模型实现了+3.14 BLEU的性能提升。
• 在WMT英德翻译任务中，该模型相比基线神经机器翻译系统实现了1.38 BLEU的性能提升。
• 反向解码器成功学习到有意义的反向目标语表示，能够与前向解码形成互补，这一点通过改善的注意力对齐和翻译流畅性得到验证。
• 该模型在前向上下文中的错误传播敏感性降低，因为反向上下文在解码过程中提供了校正信号。
• 通过双注意力机制整合源语端和反向目标语上下文，带来了更准确、更具上下文一致性的翻译结果。
• 该方法在不同语言对上均表现有效，且普遍适用于基于RNN的神经机器翻译架构，表明其在评估任务之外也具有广泛适用性。