[論文レビュー] Faster Asynchronous SGD

Augustus Odena|arXiv (Cornell University)|Jan 15, 2016

Stochastic Gradient Optimization Techniques参考文献 13被引用数 16

ひとこと要約

本稿では、勾配統計の移動平均を用いて遅延を定量化することで、従来のステップ数ベースの遅延よりも優れた性能を示す、分散学習における収束速度とスケーラビリティを向上させる新規アルゴリズムであるFaster Asynchronous SGD（FASGD）を提案する。FASGDは、SASGDなどの先行する遅延対応手法を凌駆する。さらに、Bandwidth-Aware FASGD（B-FASGD）を導入し、パラメータフェッチの通信を効率化することで、総通信帯域幅を最大5倍まで削減しつつ収束性能にほとんど影響を与えない。これにより、大規模な分散学習がより効率的に行えるようになる。

ABSTRACT

Asynchronous distributed stochastic gradient descent methods have trouble converging because of stale gradients. A gradient update sent to a parameter server by a client is stale if the parameters used to calculate that gradient have since been updated on the server. Approaches have been proposed to circumvent this problem that quantify staleness in terms of the number of elapsed updates. In this work, we propose a novel method that quantifies staleness in terms of moving averages of gradient statistics. We show that this method outperforms previous methods with respect to convergence speed and scalability to many clients. We also discuss how an extension to this method can be used to dramatically reduce bandwidth costs in a distributed training context. In particular, our method allows reduction of total bandwidth usage by a factor of 5 with little impact on cost convergence. We also describe (and link to) a software library that we have used to simulate these algorithms deterministically on a single machine.

研究の動機と目的

• 大規模かつ異種の分散学習環境において、非同期SGDの収束問題（特に古い勾配による影響）を解決すること。
• SASGDなどの既存の遅延対応手法を凌駆する収束速度とスケーラビリティを向上させること。
• 収束性能に悪影響を与えることなく、分散学習における通信帯域幅コストを低減すること。
• 単一マシン上で分散学習アルゴリズムを再現可能に評価できる決定論的シミュレーションフレームワークを提供すること。

提案手法

• FASGDは、ステップ数ベースの遅延ではなく、勾配統計の移動平均を用いて遅延を定量化することで、より適応的な勾配更新レートの調整を可能にする。
• アルゴリズムは、勾配ノルムの移動平均に基づいて学習率を動的に調整し、実際の勾配挙動をよりよく反映することで、古くなった更新の影響を軽減する。
• B-FASGDは、FASGDを拡張したもので、同じ勾配統計に基づく遅延モデルを用いて、通信帯域幅の使用を特にフェッチ通信に対して選択的に削減する。
• システムは、各パラメータごとの移動平均を監視することで通信頻度を制御し、トレーニングの安定性を保ちながら帯域幅を削減する。
• 再現可能な分散学習アルゴリズムの評価を単一マシン上で行えるための決定論的シミュレーションライブラリを提供する。
• 本手法により、帯域幅と遅延状態の変化に応じてトレーニング中にクライアントを動的にプロビジョニングすることが可能になる。

実験結果

リサーチクエスチョン

• RQ1 ステップ数ベースの遅延よりも、勾配統計が非同期SGDにおける遅延の測定に有効であると言えるか？
• RQ2 クライアント数（λ）が変化する条件下で、FASGDはSASGDに比べて収束速度とスケーラビリティでどのように差をつけるか？
• RQ3 収束性能を劣化させることなく、分散学習における通信帯域幅をどの程度まで削減できるか？
• RQ4 勾配統計に基づく動的通信調整は、通信量を削減しつつもトレーニングの安定性を維持できるか？
• RQ5 大規模分散学習において、帯域幅削減と収束精度のトレードオフはどのようなものか？

主な発見

• FASGDは、クライアント数（λ）が増えるほど性能差が広がる傾向にあり、収束速度と最終コストの両面でSASGDを常に上回る。
• MNISTでは、全テスト済みのλ値（250, 500, 1000, 10000）においてFASGDがSASGDよりも低い検証コストを達成し、優れたスケーラビリティを示している。
• B-FASGDは、フェッチ通信の削減により、総通信帯域幅を5倍まで削減し、収束性能への影響は最小限に抑えている。
• プッシュ通信はフェッチ通信よりも感受性が高く、プッシュ通信の削減は性能の急激な低下を引き起こすため、通信ボトルネックが非対称である可能性を示唆している。
• 帯域幅対収束曲線における負の2階微分は、勾配統計が、特に初期学習段階において適応的帯域幅調整を可能にする可能性を示しており、有益である。
• 本手法により、遅延の確率に合わせて通信を調整することで、トレーニング中に安定した帯域幅使用を維持できる動的クライアントプロビジョニングが可能になる。