[論文レビュー] Taming Momentum in a Distributed Asynchronous Environment

Ido Hakimi, Saar Barkai+2 more|arXiv (Cornell University)|Jul 26, 2019

Stochastic Gradient Optimization Techniques参考文献 67被引用数 13

ひとこと要約

本論文では、将来のパラメータ位置を推定して勾配を計算することにより、勾配の陳腐化を軽減する新しい非同期SGD手法DANAを提案する。これにより、正確性を損なわずに完全なモーメンタム統合が可能となり、64ワーカーまでで総バッチサイズ16Kの条件下でほぼ完全な線形スケーリングを達成する。CIFAR-10およびImageNetにおいて、収束速度と最終テスト精度の両面で既存手法を上回る性能を発揮する。

ABSTRACT

Although distributed computing can significantly reduce the training time of deep neural networks, scaling the training process while maintaining high efficiency and final accuracy is challenging. Distributed asynchronous training enjoys near-linear speedup, but asynchrony causes gradient staleness - the main difficulty in scaling stochastic gradient descent to large clusters. Momentum, which is often used to accelerate convergence and escape local minima, exacerbates the gradient staleness, thereby hindering convergence. We propose DANA: a novel technique for asynchronous distributed SGD with momentum that mitigates gradient staleness by computing the gradient on an estimated future position of the model's parameters. Thereby, we show for the first time that momentum can be fully incorporated in asynchronous training with almost no ramifications to final accuracy. Our evaluation on the CIFAR and ImageNet datasets shows that DANA outperforms existing methods, in both final accuracy and convergence speed while scaling up to a total batch size of 16K on 64 asynchronous workers.

研究の動機と目的

• 非同期分散SGDにおける勾配の陳腐化という課題に取り組むこと。これは収束性と最終的精度を低下させる要因である。
• 伝統的に陳腐化を悪化させるため、非同期学習では発散を引き起こす可能性があるが、モーメンタムを完全に活用できるようにすること。
• 高い最終モデル精度を維持しながら、分散学習におけるほぼ線形のスケーリングを達成すること。
• モーメンタムを大規模な非同期環境で効果的に使用できることを実証すること。

提案手法

• DANAは、将来のパラメータ位置を推定することで、ネステロフの加速勾配法を非同期分散学習に適応する。
• モデルパラメータの予測された将来状態で勾配を計算することで、陳腐化した勾配の影響を低減する。
• 推定された将来位置を組み込んだモーメンタムベースの更新則を用いることで、陳腐化の影響を相殺する。
• DANAは既存のパラメータサーバーアーキテクチャと互換性があり、DC-ASGD や EASGD などの他の最適化手法と組み合わせて使用可能である。
• 勾配の移動平均をモーメンタム係数γで維持するが、遅延の影響を低減するため勾配計算の位置を調整する。
• DANA-Slimは、通信オーバーヘッドを削減しながらも、性能を維持する軽量なバージョンである。

実験結果

リサーチクエスチョン

• RQ1 最終的精度を低下させることなく、非同期分散SGDでモーメンタムを効果的に使用できるか？
• RQ2 高いモーメンタムを用いた大規模な非同期学習において、勾配の陳腐化をどのように軽減できるか？
• RQ3 DANAは64台の非同期ワーカーで、収束速度と精度において線形スケーリングを達成できるか？
• RQ4 予測された将来のパラメータ位置で勾配を計算することで、学習の安定性と性能が向上するか？
• RQ5 SSGD、Multi-ASGD、YellowFin といった既存手法と比較して、DANAの最終的精度と収束速度はどのように異なるか？

主な発見

• DANAは、64台の非同期ワーカーまでで、総バッチサイズ16Kの条件下でほぼ完全な線形スケーリングを達成し、高い最終的精度を維持する。
• ResNet-20を用いたCIFAR-10では、DANA-SlimはSSGDよりも25%速く学習を完了させ、同程度の最終テスト誤差を達成する。
• DANA-Slimは、大規模バッチサイズにおいてSSGDを上回る最終的精度を達成するが、Multi-ASGDとは異なり急激に性能が低下しない。
• Google Cloud上では、DANA-Slimは20ワーカーまで効果的にスケーリングされ、ベースラインと比較して1%未満の高いテスト誤差で収束する。
• すべての評価設定において、DANAはMulti-ASGD、SSGD、YellowFinを上回り、収束速度と最終テスト誤差の両面で優れた性能を示す。
• DANAは、発散を引き起こさずに高いモーメンタム（γ）を非同期学習で完全に統合できることが実証され、このような環境でもモーメンタムを効果的に活用可能であることが示された。