[論文レビュー] Stochastic Sign Descent Methods: New Algorithms and Better Theory

Mher Safaryan, Peter Richtárik|arXiv (Cornell University)|May 30, 2019

Stochastic Gradient Optimization Techniques参考文献 36被引用数 4

ひとこと要約

本稿では、標準的な有界分散仮定の下で分散学習において収束を達成する、新しい符号ベース最適化手法であるStochastic Sign Descent with Momentum (SSDM) を紹介する。これは、signSGD の根本的な欠陥を解消するものであり、1ビット圧縮と小さなミニバッチを維持しながら最適収束レートを達成できる新たな勾配ノルムと理論的枠組みを提案する。

ABSTRACT

Various gradient compression schemes have been proposed to mitigate the communication cost in distributed training of large scale machine learning models. Sign-based methods, such as signSGD, have recently been gaining popularity because of their simple compression rule and connection to adaptive gradient methods, like ADAM. In this paper, we analyze sign-based methods for non-convex optimization in three key settings: (i) standard single node, (ii) parallel with shared data and (iii) distributed with partitioned data. For single machine case, we generalize the previous analysis of signSGD relying on intuitive bounds on success probabilities and allowing even biased estimators. Furthermore, we extend the analysis to parallel setting within a parameter server framework, where exponentially fast noise reduction is guaranteed with respect to number of nodes, maintaining $1$-bit compression in both directions and using small mini-batch sizes. Next, we identify a fundamental issue with signSGD to converge in distributed environment. To resolve this issue, we propose a new sign-based method, {\em Stochastic Sign Descent with Momentum (SSDM)}, which converges under standard bounded variance assumption with the optimal asymptotic rate. We validate several aspects of our theoretical findings with numerical experiments.

研究の動機と目的

• 分割データを有する分散設定において signSGD の理論的収束保証の欠如に対処すること。
• 標準的仮定の下で 1 ビット圧縮を維持しながら最適収束レートを達成する符号ベース手法を開発すること。
• 単一ノード、並列、分散設定のすべてにわたる符号ベース手法の統一的理論的枠組みを提供すること。
• 符号ベース最適化におけるバイアス付き勾配推定器と非一様な成功確率の問題を克服すること。
• Rosenbrock 関数および FNN を用いた MNIST における実験を通じて理論的主張を検証すること。

提案手法

• 勾配を測定するための新しい ρ-ノルムを提案する。これは l¹ および l² ノルムを一般化し、収束解析をより厳密に行えるようにする。
• 符号ベース更新とモーメンタムを組み合わせた、新たなアルゴリズムである Stochastic Sign Descent with Momentum (SSDM) を導入する。この手法により学習の安定性が向上する。
• 非 i.i.d. および歪んだ勾配分布の下での収束解析に、成功確率バウンド (SPB) を主要な理論的ツールとして用いる。
• パラメータサーバー枠組みを用いて並列および分散学習をモデル化し、ノード数の増加に伴い指数関数的にノイズ低減を達成する。
• 有界分散およびやや滑らかさの仮定の下で収束レートを導出し、勾配の成功確率に明示的な依存関係を示す。
• 分散設定において、1 ビット通信を両方向で維持しつつ、耐障害性を向上させるためにメジャリティ投票機構を採用する。

実験結果

リサーチクエスチョン

• RQ1 分割データと 1 ビット圧縮の下で、符号ベース手法は分散学習において最適収束レートを達成できるか？
• RQ2 signSGD が収束しない理論的条件は何か。そして、その問題はどのように是正できるか？
• RQ3 成功確率バウンド (SPB) は符号ベース手法の収束行動にどのように影響を与えるか？
• RQ4 モーメンタムを用いた符号ベース手法は、標準的な有界分散仮定の下でバイアス付き推定器を扱いながらも収束を維持できるか？
• RQ5 ミニバッチサイズの選択と勾配分布の形状は、符号ベース手法の収束ダイナミクスにどのように影響を与えるか？

主な発見

• 標準的な有界分散仮定の下で、SSDM は O(1/K¹/⁴) の収束レートを達成し、非凸最適化における最良の既知のレートと一致する。
• 提案された ρ-ノルムにより、バイアス付き勾配推定器および非 i.i.d. 勾配が存在する場合でも、符号ベース手法の収束解析が可能になる。
• 共有データを有する並列設定では、ノード数の増加に伴い指数関数的にノイズ低減が達成され、1 ビット圧縮が維持される。
• 数値実験により、成功確率バウンドを満たす場合、signSGD が多峰性および歪んだ勾配分布の下でも収束することが確認された。
• 成功確率が高い場合およびミニバッチサイズが小さい場合に、SGD よりも初期学習段階での効率が向上することが示された。
• 大きなミニバッチサイズは、成功確率とミニバッチサイズの依存関係に関する理論的境界と整合的に、より良い収束をもたらす。