[论文解读] Exploring Hyper-Parameter Optimization for Neural Machine Translation on GPU Architectures

Robert Lim, Kenneth Heafield+3 more|arXiv (Cornell University)|May 5, 2018

Natural Language Processing Techniques参考文献 11被引用 5

一句话总结

本论文研究了在GPU架构上使用Marian NMT进行神经机器翻译（NMT）的超参数优化，评估了学习率、激活单元（GRU与LSTM）、dropout以及优化策略在P100和V100 GPU上的表现。主要发现表明，较低的学习率和最小的dropout可提升收敛速度与BLEU分数，V100 GPU在每秒处理词数方面优于P100，且尽管每轮训练时间更长，LSTM在翻译准确率上仍优于GRU。

ABSTRACT

Neural machine translation (NMT) has been accelerated by deep learning neural networks over statistical-based approaches, due to the plethora and programmability of commodity heterogeneous computing architectures such as FPGAs and GPUs and the massive amount of training corpuses generated from news outlets, government agencies and social media. Training a learning classifier for neural networks entails tuning hyper-parameters that would yield the best performance. Unfortunately, the number of parameters for machine translation include discrete categories as well as continuous options, which makes for a combinatorial explosive problem. This research explores optimizing hyper-parameters when training deep learning neural networks for machine translation. Specifically, our work investigates training a language model with Marian NMT. Results compare NMT under various hyper-parameter settings across a variety of modern GPU architecture generations in single node and multi-node settings, revealing insights on which hyper-parameters matter most in terms of performance, such as words processed per second, convergence rates, and translation accuracy, and provides insights on how to best achieve high-performing NMT systems.

研究动机与目标

• 确定哪些超参数对NMT训练性能、收敛速度和翻译准确率影响最大。
• 评估学习率、激活单元（GRU与LSTM）、dropout以及优化策略对训练效率和模型稳定性的影响力。
• 在单节点与多节点配置下，对比现代GPU架构（P100与V100）的训练性能。
• 将系统级执行性能（如每秒处理词数）与生产级NMT框架中的超参数选择关联起来。
• 通过系统的超参数调优，为设计高性能、稳定且高效的NMT系统提供可操作的见解。

提出的方法

• 在WMT 2016数据集的四个翻译方向（en→ro、ro→en、de→en、en→de）上，使用Marian NMT框架训练NMT模型。
• 系统性地调整超参数：学习率（1e-4、1e-3、5e-3）、激活单元（GRU、LSTM）、dropout率以及优化策略（Adam、SGD、混合）。
• 在多种GPU架构（NVIDIA P100与V100）上测量性能，涵盖单节点与多节点配置。
• 收集包括每秒处理词数、训练收敛速度（训练轮数）、BLEU分数以及每次迭代的训练时间（含标准差）在内的指标。
• 分析硬件性能（如V100上的张量核心利用率）与超参数选择之间的相关性。
• 通过多次运行的均值与标准差统计报告，评估模型的稳定性与可复现性。

实验结果

研究问题

• RQ1 学习率、激活单元、dropout或优化器中，哪一个对NMT收敛速度与翻译准确率的影响最为显著？
• RQ2 在不同超参数设置下，P100与V100 GPU如何影响训练吞吐量（每秒处理词数）与训练时间？
• RQ3 在NMT系统中，使用GRU与LSTM时，训练速度与模型准确率之间的权衡如何？
• RQ4 学习率的选择如何影响模型稳定性、过拟合现象以及最终的BLEU分数？
• RQ5 在不同超参数配置下，最小dropout在防止过拟合的同时，能在多大程度上维持高翻译准确率？

主要发现

• 较低的学习率（1e-4）在所有翻译方向上均实现了最佳BLEU分数与最快收敛速度，优于1e-3与5e-3的学习率。
• 在所有配置下，V100 GPU每秒处理的词数显著多于P100 GPU，得益于张量核心加速，吞吐量最高提升达30%。
• 在所有语言对与超参数设置下，LSTM单元在翻译准确率上均优于GRU，尽管每轮训练时间更长。
• 极低的dropout（0.2）能有效防止过拟合，并显著提升BLEU分数，尤其在高容量模型中表现突出。
• 尽管每轮训练时间固定，但随着学习率提高，每次迭代的训练时间也因收敛所需轮数增加而延长。
• Adam优化器配合学习率衰减与最小dropout的组合，产生了最稳定且最准确的训练轨迹。