[論文レビュー] Fast Distributed Asynchronous SGD with Variance Reduction.

Ruiliang Zhang, Shuai Zheng+1 more|arXiv (Cornell University)|Aug 7, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用数 17

ひとこと要約

本稿では、定数学習率を用いて線形収束を達成する、分散型非同期SGDアルゴリズムを提案する。この手法は、勾配のばらつきを低減させることで、高い解の品質と高速なウォルクロック性能を両立する。グーグルクラウド上での実験では、最先端の手法に比べて収束速度と解の精度の両面で優れている。

ABSTRACT

With the recent proliferation of large-scale learning problems, there have been a lot of interest on distributed machine learning algorithms, particularly those that are based on stochastic gradient descent (SGD) and its variants. However, existing algorithms either suffer from slow convergence due to the inherent variance of stochastic gradients, or have a fast linear convergence rate but at the expense of poorer solution quality. In this paper, we combine their merits together by proposing a distributed asynchronous SGD-based algorithm with variance reduction. A constant learning rate can be used, and it is also guaranteed to converge linearly to the optimal solution. Experiments on the Google Cloud Computing Platform demonstrate that the proposed algorithm outperforms state-of-the-art distributed asynchronous algorithms in terms of both wall clock time and solution quality.

研究の動機と目的

• 分散確率的勾配降下法における収束速度と解の品質のトレードオフを解消すること。
• 減少する学習率を必要とせずに、分散非同期SGDで線形収束を達成すること。
• 大規模機械学習ワークロードにおけるウォルクロック時間と解の品質を向上させること。
• 勾配分散低減の利点を非同期分散学習と組み合わせ、スケーラビリティを向上させること。

提案手法

• 勾配ノイズを低減するため、分散型非同期SGDアルゴリズムに勾配分散低減を組み込んだ。
• 定数学習率を採用することで、学習率の減衰なしに安定的かつ高速な収束を実現する。
• 非同期更新においても勾配の正確性を維持するための勾配分散低減技術を統合する。
• 通信効率が良く、分散ノード間でスケーラブルなアルゴリズムを設計する。
• 同期を必要とせず、独立して作業を進めることが可能な分散型更新メカニズムを採用する。
• 標準的な仮定の下で、最適解への線形収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非同期分散SGDに効果的に勾配分散低減を統合することで、定数学習率を用いて線形収束を達成できるか？
• RQ2 提案手法は、従来の非同期手法と比較して、解の品質とウォルクロック時間の両方を向上させるか？
• RQ3 クラウドプラットフォームを含む実世界の分散コンピューティング環境下で、このアルゴリズムはどのように動作するか？
• RQ4 非同期性と勾配分散の影響は、収束速度と最終的なモデル精度にどのような影響を及けるか？

主な発見

• 提案手法は、定数学習率を用いて最適解への線形収束を達成する。
• グーグルクラウド上での実験では、ウォルクロック時間と解の精度の両面で、最先端の分散非同期SGD手法を上回る。
• 確率的勾配における効果的な勾配分散低減のおかげで、高い解の精度を維持する。
• 定数学習率の採用により、ハイパーパramータの調整が簡素化されつつ、高速な収束が保証される。
• 分散ノード間で良好にスケーリングされ、大規模学習環境における効率性が向上している。