[论文解读] Massive Exploration of Neural Machine Translation Architectures

Denny Britz, Anna Goldie+2 more|arXiv (Cornell University)|Mar 11, 2017

Natural Language Processing Techniques参考文献 21被引用 70

一句话总结

本工作对神经机器翻译架构进行大规模超参数搜索，揭示哪些架构选择对 BLEU、困惑度和训练效率影响最大，并公开一个用于可重复研究的开源 NMT 框架。

ABSTRACT

Neural Machine Translation (NMT) has shown remarkable progress over the past few years with production systems now being deployed to end-users. One major drawback of current architectures is that they are expensive to train, typically requiring days to weeks of GPU time to converge. This makes exhaustive hyperparameter search, as is commonly done with other neural network architectures, prohibitively expensive. In this work, we present the first large-scale analysis of NMT architecture hyperparameters. We report empirical results and variance numbers for several hundred experimental runs, corresponding to over 250,000 GPU hours on the standard WMT English to German translation task. Our experiments lead to novel insights and practical advice for building and extending NMT architectures. As part of this contribution, we release an open-source NMT framework that enables researchers to easily experiment with novel techniques and reproduce state of the art results.

研究动机与目标

• 识别架构选择如何影响 NMT 的性能、训练效率和稳定性。
• 为构建和扩展 NMT 架构提供可操作的指导。
• 量化初始化和超参数带来的变异性，以区分信号与噪声。
• 通过发布开源的 NMT 框架和数据预处理脚本来促进可重复性。

提出的方法

• 对编码器/解码器深度、RNN 单元类型（LSTM/GRU/vanilla）、嵌入维度、残差连接、双向性、注意力类型及维度进行全面的超参数遍历。
• 使用带注意力的编码-解码器基线，在 WMT’15 English→German 上评估，包含 450 万句对。
• 使用 Adam、固定学习率、2.5M 步、4 次重复训练；在 newstest2013/2014/2015 上用 BLEU 进行评估。
• 在保持其他超参数固定的情况下逐个系统地改变一个超参数，以隔离其效应。
• 发布一个基于 TensorFlow 的开源框架以及所有配置/脚本以实现可重复性。

实验结果

研究问题

• RQ1 在 WMT English→German 任务上，哪些 NMT 的架构选择最影响翻译质量（BLEU）和收敛行为？
• RQ2 嵌入维度、编码器/解码器深度、RNN 单元类型和注意力机制如何影响性能与训练稳定性？
• RQ3 束搜索设置和长度惩罚在最终翻译质量上有多大影响？
• RQ4 更大、更复杂的架构是否始终更好，还是优化挑战限制了收益？
• RQ5 随机初始化和超参数变动对观察到的性能差异有多大贡献？

主要发现

• 128/256/512 维嵌入中，2048 维嵌入在 BLEU 上通常表现最好，但相对于较小嵌入的增益很小。
• LSTM 单元的表现优于 GRU，vanilla 解码器表现较差，表明门控对解码器有利。
• 除非使用密集残差连接，否则深层编码器超过 2 层不稳定；深层解码器在存在残差时有适度的深度收益。
• 双向编码器通常优于单向编码器，在输入反向时有时也能提升结果。
• 参数化的加性注意力略微优于乘性注意力，注意力维度的影响有限。
• 良好调优的束搜索及长度惩罚至关重要；束宽度在约 5–10、LP=1.0 时表现良好，而非常大束宽可能会降低结果。