[论文解读] Dense Information Flow for Neural Machine Translation

Yanyao Shen, Xu Tan+3 more|arXiv (Cornell University)|Jun 3, 2018

Multimodal Machine Learning Applications参考文献 13被引用 4

一句话总结

该论文提出DenseNMT，一种神经机器翻译架构，其在编码器和解码器模块中均采用密集连接，并引入密集注意力机制以改善信息流动，从而实现更快的训练速度和更高的翻译准确率。实验表明，该模型在IWSLT14和WMT14基准测试中取得了新的SOTA BLEU分数，且参数量更少、嵌入维度更小。

ABSTRACT

Recently, neural machine translation has achieved remarkable progress by introducing well-designed deep neural networks into its encoder-decoder framework. From the optimization perspective, residual connections are adopted to improve learning performance for both encoder and decoder in most of these deep architectures, and advanced attention connections are applied as well. Inspired by the success of the DenseNet model in computer vision problems, in this paper, we propose a densely connected NMT architecture (DenseNMT) that is able to train more efficiently for NMT. The proposed DenseNMT not only allows dense connection in creating new features for both encoder and decoder, but also uses the dense attention structure to improve attention quality. Our experiments on multiple datasets show that DenseNMT structure is more competitive and efficient.

研究动机与目标

• 通过在编码器和解码器网络中用密集连接替代残差连接，改善神经机器翻译中的信息流动。
• 通过引入一种密集注意力结构，使所有先前的编码器层能直接影响解码器，从而提升注意力质量。
• 通过减小模型尺寸，特别是使用更小的嵌入维度，实现更高效的训练和更好的性能。
• 在不增加模型参数量的前提下，在多个基准数据集上实现最先进（SOTA）的翻译性能。

提出的方法

• 提出一种密集连接的编码器和解码器架构，其中每一层都连接所有先前层的特征，促进特征复用并改善梯度流动。
• 不仅在编码器和解码器内部应用密集连接，还跨注意力机制应用，使所有编码器层能直接参与注意力计算。
• 采用一种改进的注意力机制，聚合来自所有编码器层的表示，提升对齐质量和语义表征。
• 采用标准的编码器-解码器框架，结合卷积或自注意力变换，但将残差跳跃连接替换为密集跳跃连接。
• 使用标准NMT目标函数（如交叉熵损失）和Adam优化器进行训练，并在标准基准上使用BLEU分数进行评估。
• 通过消融研究隔离编码器、解码器和注意力组件中密集连接的贡献。

实验结果

研究问题

• RQ1 与残差连接相比，编码器和解码器中采用密集连接是否能提升NMT的训练效率和翻译性能？
• RQ2 一种聚合所有编码器层特征的密集注意力机制是否能带来更好的对齐效果和更高品质的翻译？
• RQ3 与标准模型相比，DenseNMT能否在显著减小嵌入尺寸的情况下实现相当或更优的性能？
• RQ4 在主要NMT基准测试中，DenseNMT在BLEU分数、参数量和训练效率方面与最先进模型相比如何？

主要发现

• 在IWSLT14德语-英语翻译任务中，DenseNMT实现了32.26的新SOTA BLEU分数，比之前模型最高提升2.8 BLEU点。
• 在WMT14英语-德语任务中，DenseNMT的BLEU得分为25.52，参数量比ConvS2S基线减少20%，训练迭代次数减少35%。
• 使用64维嵌入大小的8层DenseNMT模型，其性能与标准8层模型（256维嵌入大小）相当，但仅使用40%的参数量。
• 消融研究证实，编码器、解码器和注意力组件中的密集连接在不增加模型尺寸的前提下，协同提升了性能。
• 在土耳其语-英语IWSLT14任务中，DenseNMT实现了24.36的平均BLEU分数，创下新基准。
• 该模型表现出更快的收敛速度，表现为损失曲线更陡峭且更早下降，表明优化效率更高。