[论文解读] Deep Recurrent Models with Fast-Forward Connections for Neural Machine Translation

Jie Zhou, Ying Cao+3 more|arXiv (Cornell University)|Jun 14, 2016

Natural Language Processing Techniques参考文献 27被引用 16

一句话总结

本文提出快速前向连接与交错式双向LSTM架构，使深度神经机器翻译（NMT）模型达到16层深度，显著提升性能。通过线性跳跃连接加速梯度流动，该模型在WMT'14英语到法语翻译任务上取得37.7的单模型BLEU新SOTA分数，较浅层NMT与最佳传统SMT系统高出0.7 BLEU点。

ABSTRACT

Neural machine translation (NMT) aims at solving machine translation (MT) problems using neural networks and has exhibited promising results in recent years. However, most of the existing NMT models are shallow and there is still a performance gap between a single NMT model and the best conventional MT system. In this work, we introduce a new type of linear connections, named fast-forward connections, based on deep Long Short-Term Memory (LSTM) networks, and an interleaved bi-directional architecture for stacking the LSTM layers. Fast-forward connections play an essential role in propagating the gradients and building a deep topology of depth 16. On the WMT'14 English-to-French task, we achieve BLEU=37.7 with a single attention model, which outperforms the corresponding single shallow model by 6.2 BLEU points. This is the first time that a single NMT model achieves state-of-the-art performance and outperforms the best conventional model by 0.7 BLEU points. We can still achieve BLEU=36.3 even without using an attention mechanism. After special handling of unknown words and model ensembling, we obtain the best score reported to date on this task with BLEU=40.4. Our models are also validated on the more difficult WMT'14 English-to-German task.

研究动机与目标

• 弥合单个NMT模型与传统SMT系统在WMT'14英语到法语翻译任务上的性能差距。
• 通过解决深层循环网络中的梯度消失问题，实现更深层次的NMT架构。
• 通过新型网络组件提升深层LSTM的训练稳定性和泛化能力。
• 证明深度NMT模型可在不使用集成方法的情况下超越浅层模型与传统系统。

提出的方法

• 提出快速前向连接——在LSTM层之间引入线性跳跃连接，绕过非线性激活与循环计算，以加速梯度流动。
• 设计交错式双向LSTM架构，通过特定方式堆叠编码器层，以增强上下文表征与梯度传播。
• 采用深度编码器-解码器拓扑结构，共16层（25个LSTM层），利用快速前向连接稳定训练极深网络。
• 将该架构应用于标准编码器-解码器与注意力机制NMT模型，实现端到端学习并提升深度可扩展性。
• 采用小束宽（3）的束搜索进行高效推理，证明在不损失性能的前提下具备高效性。
• 应用未知词处理与模型集成技术，进一步提升测试集性能。

实验结果

研究问题

• RQ1 能否使用标准RNN在标准LSTM中成功训练16层或以上深度的循环架构用于神经机器翻译？
• RQ2 与标准残差连接或跳跃连接相比，快速前向连接是否能显著改善深层LSTM中的梯度流动与训练稳定性？
• RQ3 单个深度NMT模型是否能在WMT'14英语到法语任务上超越最佳传统SMT系统？
• RQ4 模型深度如何影响NMT中的过拟合与泛化能力，特别是在长序列上的表现？
• RQ5 未知词在多大程度上限制了深度NMT模型的性能，其影响能否被缓解？

主要发现

• 所提出的16层深度NMT模型结合快速前向连接，在WMT'14英语到法语测试集上取得37.7的BLEU分数，较此前最佳单模型结果高出6.2 BLEU点。
• 该模型是首个在该任务上超越最佳传统SMT系统（37.0 BLEU）的单个NMT系统，实现37.7 BLEU的新SOTA结果。
• 即使不使用注意力机制，该深度模型仍取得36.3 BLEU的分数，证明深度与快速前向连接本身已具强大有效性。
• 在未知词处理与三模型集成后，BLEU分数提升至40.4，较此前最佳结果高出2.9点。
• 在无未知词的测试子集上，集成模型达到41.4 BLEU，表明未知词是性能的主要瓶颈。
• 与浅层模型相比，该深度模型表现出更少的过拟合，表现为在相同训练误差率下测试性能更优。