[論文レビュー] Staleness-aware Async-SGD for Distributed Deep Learning

Wei Zhang, Suyog Gupta+2 more|arXiv (Cornell University)|Nov 18, 2015

Advanced Neural Network Applications参考文献 16被引用数 58

ひとこと要約

本稿では、勾配の陳腐化度に応じて学習率を動的に調整する陳腐化度に配慮した非同期SGD（Async-SGD）アルゴリズムを提案する。この手法により、同期的SGD（SSGD）と同等の収束速度が保証され、CIFAR10およびImageNetのベンチマークでも、高い陳腐化度下でもSSGDレベルのモデル精度を維持しながら、ほぼ線形のスケーリング性能を達成する。理論的にはO(1/√T)の収束を保証し、多様な分散環境においても実験的に堅牢性を検証した。

ABSTRACT

Deep neural networks have been shown to achieve state-of-the-art performance in several machine learning tasks. Stochastic Gradient Descent (SGD) is the preferred optimization algorithm for training these networks and asynchronous SGD (ASGD) has been widely adopted for accelerating the training of large-scale deep networks in a distributed computing environment. However, in practice it is quite challenging to tune the training hyperparameters (such as learning rate) when using ASGD so as achieve convergence and linear speedup, since the stability of the optimization algorithm is strongly influenced by the asynchronous nature of parameter updates. In this paper, we propose a variant of the ASGD algorithm in which the learning rate is modulated according to the gradient staleness and provide theoretical guarantees for convergence of this algorithm. Experimental verification is performed on commonly-used image classification benchmarks: CIFAR10 and Imagenet to demonstrate the superior effectiveness of the proposed approach, compared to SSGD (Synchronous SGD) and the conventional ASGD algorithm.

研究の動機と目的

• 分散ディープラーニングにおける勾配の陳腐化度による不安定性と収束の悪化を是正すること。
• 陳腐化度を考慮した、原理的かつ理論的根拠に基づいた非同期学習における学習率チューニング手法の開発。
• モデル精度を損なわず、SSGD性能に匹敵する近似線形のスケーリング性能を実現すること。
• 陳腐化度に応じて自動的に学習率を調整することで、手動によるハイパーパramータチューニングの必要性を低減すること。

提案手法

• 各勾配更新の陳腐化度に応じて学習率をその値で除算する陳腐化度依存の学習率スキームを導入する。
• 最大勾配陳腐化度を制御・束縛するn-softsyncプロトコルを採用し、陳腐化度レベルの細かい調整を可能にする。
• 理論的に、提案手法の収束速度がSSGDと同等であり、非凸最適化においてO(1/√T)の収束が達成されることを証明する。
• 高速なインターコネクトを備えたCPUベースのHPCクラスタを用いて、陳腐化度の上限を厳密に制御した実装と評価を実施する。
• CIFAR10およびImageNetの学習に、学習率変調スキームを適用し、さまざまな陳腐化度レベルでも一貫した性能を維持する。
• 学習率の減少とバッチサイズのスケーリングを併用したモーメンタム加速SGDを用い、学習者数を増加させてもモデル精度を保持する。

実験結果

リサーチクエスチョン

• RQ1 勾配の陳腐化度に基づく学習率適応戦略により、非同期SGDの安定性が向上し、同期SGDと同等の速度で収束できるか？
• RQ2 勾配の陳腐化度は分散ディープラーニングにおけるモデル精度と収束にどのように影響するか？ また、これを体系的に軽減できるか？
• RQ3 陳腐化度に配慮した学習率スキームは、異なるデータセットやモデルスケールにおいて、近似線形のスケーリング性能を維持しながらモデル精度を保つことができるか？
• RQ4 提案手法により、分散学習における手動によるハイパーパramータチューニングの必要性を低減または排除できるか？

主な発見

• 提案された陳腐化度に配慮したAsync-SGDは、n-softsyncプロトコル（n = 1〜30）のすべての条件下でCIFAR10で約18%のテスト誤差を達成し、シングルラーナーベースラインと同等の性能を示した。一方、従来のAsync-SGDは高い陳腐化度下で収束しなかった。
• ImageNetでは、陳腐化度依存の学習率スキームにより、すべてのn-softsyncプロトコルで一貫したトップ1バリデーション誤差（約42.56%）を維持した。一方、固定学習率の場合、n = 9およびn = 18では収束しなかった。
• CIFAR10では最大30人の学習者、ImageNetでは最大18人の学習者までで、モデル精度がSSGDと同等の水準を維持しながら、ほぼ線形のスケーリング性能を達成した。
• 理論的分析により、提案手法の収束速度がO(1/√T)であることが確認され、非同期更新と変動する陳腐化度下でも、SSGDの最適な収束速度と同等であることが示された。
• 陳腐化度に応じて勾配ごとに学習率が自動的に調整されるため、分散学習における手動による学習率チューニングの必要性が顕著に低減された。