[論文レビュー] Accelerating Asynchronous Stochastic Gradient Descent for Neural Machine Translation

Nikolay Bogoychev, Marcin Junczys-Dowmunt+2 more|arXiv (Cornell University)|Aug 27, 2018

Advanced Neural Network Applications参考文献 15被引用数 4

ひとこと要約

この論文では、遅延勾配更新を導入することで非同期確率的勾配降下法（ASGD）をニューラルマシン翻訳（NMT）で高速化し、GPUメモリ制限を超えてより大きな有効ミニバッチを可能にするとともに、局所最適化子を用いて劣化した勾配の影響を軽減することで収束問題を緩和する。調整されたモーメンタムと学習率スケーリングを適用することで、最適化されたベースラインと比較して27%高速な学習が達成され、BLEUスコアの低下は無視できるほど小さく、交差エントロピー損失は改善された。

ABSTRACT

In order to extract the best possible performance from asynchronous stochastic gradient descent one must increase the mini-batch size and scale the learning rate accordingly. In order to achieve further speedup we introduce a technique that delays gradient updates effectively increasing the mini-batch size. Unfortunately with the increase of mini-batch size we worsen the stale gradient problem in asynchronous stochastic gradient descent (SGD) which makes the model convergence poor. We introduce local optimizers which mitigate the stale gradient problem and together with fine tuning our momentum we are able to train a shallow machine translation system 27% faster than an optimized baseline with negligible penalty in BLEU.

研究の動機と目的

• 大きなミニバッチサイズと劣化した勾配による非同期SGDの収束遅延を解消する。
• 系列モデルタスクにおけるミニバッチサイズを制限するGPUメモリ制限を克服する。
• 学習率とモーメンタムスケジュールの最適化により、モデル性能を損なわず学習速度を向上させる。
• ハードウェアに依存しないスケーラブルな技術を用いて、系列変換モデルのエンドツーエンド学習を高速化する。
• 遅延勾配更新と局所最適化子が、バッチサイズの増加と通信頻度の低下にもかかわらず収束を維持できることを示す。

提案手法

• 通信をτイテレーションごとに行うことで勾配を蓄積し、GPUメモリ制限を超えて有効ミニバッチサイズを拡大する遅延勾配更新を導入する。
• 各ワーカーに局所最適化子を実装し、大きな有効バッチサイズに起因する勾配の劣化の影響を低減する。
• 大きなバッチサイズでの学習を安定化させるために、学習率ウォームアップとモーメンタムクールダウン戦略を適用する。
• 収束速度と安定性のバランスを取るために、調整済みハイパーパrameterを用いた変更版Adam最適化子を採用する。
• 複数の小さなバッチを局所的に合算することで、通信オーバーヘッドを低減しつつもモデル更新頻度を維持する、より大きなバッチのエミュレーションを実現する。
• 学習のダイナミクスを高バッチサイズ環境下でも安定化させるために、勾配クリッピングとモーメンタム適応を適用する。

実験結果

リサーチクエスチョン

• RQ1 GPUメモリ制限を超えて有効ミニバッチサイズを拡大する目的で、遅延勾配更新はNMTで有効に機能するか？
• RQ2 遅延更新と局所最適化子の組み合わせが、系列モデルにおける非同期SGDの収束に与える影響は何か？
• RQ3 非常に大きなミニバッチサイズで収束速度を維持するための最適な学習率およびモーメンタムスケジュールは何か？
• RQ4 BLEUスコアや交差エントロピー損失の劣化を最小限に抑えながら、学習速度をどの程度向上できるか？
• RQ5 ウォームアップとモーメンタムクールダウン戦略は、大バッチ学習における不安定性をどの程度軽減できるか？

主な発見

• ロマニア語-英語翻訳の浅いRNNモデルにおいて、最適化されたベースラインと比較して27%高速な学習が達成され、BLEUスコアの低下は0.03ポイントにとどまる。
• τ = 4として遅延更新を適用すると、1秒あたりの単語数は40.2kから47.6kに上昇し、学習スループットが顕著に向上する。
• 有効ミニバッチサイズが4倍にもかかわらず、モデルはベースラインよりも1エポックあたりの交差エントロピー損失が低く、最適化の安定性が向上していることが示された。
• ロマニア語-英語タスクにおいて、最良のBLEUスコアに到達するまでの時間がベースラインの1.6倍速く、収束効率の向上が裏付けられた。
• 英語-ドイツ語の深層RNNモデルでも、本手法はベースラインと比較して1.3倍高速に学習を実行し、ほぼ同等のBLEUスコアを維持するとともに、交差エントロピー損失が改善された。
• モーメンタムの調整とクールダウン戦略の適用が、大バッチ学習における学習の安定化に不可欠であり、単純な学習率スケーリングよりも優れた性能を示した。