[论文解读] Deep Neural Machine Translation with Weakly-Recurrent Units

Mattia Antonino Di Gangi, Marcello Federico|arXiv (Cornell University)|May 10, 2018

Natural Language Processing Techniques参考文献 30被引用 11

一句话总结

本文提出简单循环神经机器翻译（SR-NMT），一种序列到序列模型，通过引入层归一化和多头注意力机制来增强弱循环单元，从而提升训练效率和翻译质量。该模型在WMT14英德语翻译任务中，BLEU得分优于基于LSTM的GNMT模型，且在单张GPU上训练速度提升两倍，表明经过优化的循环单元可在显著降低计算成本的前提下超越标准LSTM模型。

ABSTRACT

Recurrent neural networks (RNNs) have represented for years the state of the art in neural machine translation. Recently, new architectures have been proposed, which can leverage parallel computation on GPUs better than classical RNNs. Faster training and inference combined with different sequence-to-sequence modeling also lead to performance improvements. While the new models completely depart from the original recurrent architecture, we decided to investigate how to make RNNs more efficient. In this work, we propose a new recurrent NMT architecture, called Simple Recurrent NMT, built on a class of fast and weakly-recurrent units that use layer normalization and multiple attentions. Our experiments on the WMT14 English-to-German and WMT16 English-Romanian benchmarks show that our model represents a valid alternative to LSTMs, as it can achieve better results at a significantly lower computational cost.

研究动机与目标

• 通过在标准LSTM和GRU之外优化循环单元，提升循环神经机器翻译（NMT）的效率与性能。
• 探究当弱循环单元结合现代组件（如层归一化和多头注意力）时，是否能够匹配或超越更复杂的非循环架构的性能。
• 在保持或提升翻译质量的前提下，降低训练成本，相比最先进的基于LSTM的模型（如Google的GNMT）。
• 评估关键架构组件——层归一化、多头注意力和高速公路连接——对模型性能的贡献。

提出的方法

• 该模型采用简化的循环单元（SRU）的改进版本，SRU是一种简化、快速且弱循环的RNN变体，旨在提升训练效率。
• 通过层归一化稳定并加速训练，减少层间协变量偏移。
• 将多头注意力机制集成到SRU单元中，以改善长距离依赖建模并捕捉更丰富的上下文表征。
• 保留原始SRU架构中的高速公路连接，以促进梯度流动并支持更深的网络结构。
• 采用标准的序列到序列注意力学习方法进行训练，所有实验均在单张GPU上完成。
• 在WMT14英语到德语和WMT16英语到罗马尼亚语基准上评估模型，使用BLEU分数和训练时间作为评价指标。

实验结果

研究问题

• RQ1 经过层归一化和多头注意力增强的弱循环单元，是否能在翻译质量与训练效率方面超越标准LSTM-based NMT模型？
• RQ2 层归一化与多头注意力在单独和联合使用时，对SR-NMT模型性能的贡献如何？
• RQ3 通过优化组件构建的循环架构在多大程度上可匹配或超越非循环模型（如Transformer和ConvS2S）的性能？
• RQ4 与最先进的LSTM系统相比，该提出的架构是否能在计算资源更少的情况下保持优异性能？

主要发现

• SR-NMT（8层）在WMT14英语到德语基准上表现优于Google的GNMT（8层LSTM），BLEU得分为25.04，略低于GNMT报告的25.16，但训练时间仅需在单张K80 GPU上运行12天，而GNMT需在96张K80 GPU上运行6天。
• 表现最佳的SR-NMT模型（9层）达到BLEU得分25.04，仅比15层卷积模型低0.12分，且层数更少、计算资源更少。
• 在WMT16英语到罗马尼亚语基准上，SR-NMT（6层）取得BLEU得分29.04，比WMT16共享任务优胜系统高出近1 BLEU分。
• 消融实验表明，移除高速公路连接导致性能下降最大（-2.14 BLEU点），其次为多头注意力（-1.42）和层归一化（-1.02），表明这些组件在训练稳定性和准确性中起关键作用。
• 同时移除层归一化和高速公路连接导致训练因梯度爆炸而失败，凸显其对模型收敛的重要性。
• 层归一化、多头注意力和高速公路连接的贡献近似可加，表明它们分别解决了不同的优化与表征挑战。