[論文レビュー] Gradient Energy Matching for Distributed Asynchronous Gradient Descent

Joeri Hermans, Gilles Louppe|arXiv (Cornell University)|May 22, 2018

Stochastic Gradient Optimization Techniques参考文献 11被引用数 5

ひとこと要約

本稿では、勾配エネルギー一致（GEM）と呼ばれる、分散非同期SGDの安定化を図る新しいアルゴリズムを提案する。GEMは、運動エネルギーを非同期システムと、モーメンタム付き同期SGDプロセスの間で一致させることで、学習を安定化させる。エネルギー一致に基づいて作業者ごとの更新を動的にスケーリングすることで、最大100人の作業者を対象とした安定でスケーラブルな学習が可能となり、ベースライン手法と比較して著しいウォールクロック時間の高速化と一般化性能の向上を達成する。

ABSTRACT

Distributed asynchronous SGD has become widely used for deep learning in large-scale systems, but remains notorious for its instability when increasing the number of workers. In this work, we study the dynamics of distributed asynchronous SGD under the lens of Lagrangian mechanics. Using this description, we introduce the concept of energy to describe the optimization process and derive a sufficient condition ensuring its stability as long as the collective energy induced by the active workers remains below the energy of a target synchronous process. Making use of this criterion, we derive a stable distributed asynchronous optimization procedure, GEM, that estimates and maintains the energy of the asynchronous system below or equal to the energy of sequential SGD with momentum. Experimental results highlight the stability and speedup of GEM compared to existing schemes, even when scaling to one hundred asynchronous workers. Results also indicate better generalization compared to the targeted SGD with momentum.

研究の動機と目的

• 多数の作業者にスケーリングする際、劣化の進行と遅延更新が増加することで生じる分散非同期SGDの不安定性を解消すること。
• ラグランジュ力学とエネルギーダイナミクスの原則を用いて、非同期最適化の分析と安定化を理論的根拠に基づいて行うフレームワークを構築すること。
• 作業者固有のハイパーパrameterに依存せず、学習率を低下させることなく、作業者間の集団的安定性を保証する手法を設計すること。
• 有効バッチサイズを作業者間で分割することで、収束性と一般化性能を維持したまま、スケーラブルで高速な学習を実現すること。

提案手法

• パラメータの速度とモーメンタムに基づく運動エネルギーを関数として定義することで、ラグランジュ力学の枠組み内で確率的勾配降下法を形式化する。
• 非同期システムの安定性ベンチマークとして、モーメンタム付き同期SGDを仮想的プロキシプロセスとして導入する。
• 十分な安定性条件を導出：非同期システムの全運動エネルギーは、プロキシのエネルギーを上回ってはならない。
• 個々の作業者の勾配をスケーリングすることで、システムのエネルギーをプロキシのエネルギー以下に保つ実用的アルゴリズムGEMを提案する。
• グローバル同期を必要とせず、各作業者の更新に適応するスケーリング係数を、プロキシのエネルギーの局所的推定値に基づいて計算する。
• 現在のシステムと目標プロキシの間の相対的エネルギー差に応じて、各作業者の勾配更新を調整するフィードバック機構を採用する。

実験結果

リサーチクエスチョン

• RQ1 ラグランジュ力学から導出されたエネルギー基準を用いて、分散非同期SGDのダイナミクスを安定化させることは可能か？
• RQ2 複数の非同期作業者の集団的挙動を、安定な同期基準プロセスのダイナミクスに一致させることは可能か？
• RQ3 目標プロキシとのエネルギー同等性を維持することで、大規模分散学習における収束性と一般化性能が向上するか？
• RQ4 学習率の低下や作業者固有のハイパーパrameterチューニングを必要とせずに、GEMは数百人の作業者にスケーリングして効果的に機能するか？

主な発見

• GEMは最大100人の非同期作業者を対象とした安定な学習を達成し、特に作業者数が多い状況で、Downpour や DynSGD といったベースライン手法を著しく上回る。
• MNISTでは、GEMは大きな学習率（η = 0.1）でも安定を保つ一方で、Downpour は発散することを示し、ハイパーパrameterの誤設定に対しても頑健であることを確認した。
• AlexNetを用いたImageNetでは、作業者数を2倍にした際の1作業者あたりバッチサイズを半分にしたにもかかわらず、GEMはベースライン手法よりも収束が早く、訓練損失も低かった。
• GEMは、目標となる同期SGD（モーメンタム付き）と比較して、より優れた一般化性能を示しており、制御された非同期性が有益である可能性を示唆している。
• 有効バッチサイズを効率的に作業者間で分割することで、安定性を維持したまま著しいウォールクロック時間の高速化を実現した。
• 勾配更新の可視化により、GEMが動的に個々のテンソル成分を調整してエネルギーバランスを維持していることが確認され、アルゴリズムの内部整合性が裏付けられた。