[論文レビュー] signSGD: Compressed Optimisation for Non-Convex Problems

Jeremy Bernstein, Yu-Xiang Wang+2 more|arXiv (Cornell University)|Feb 13, 2018

Stochastic Gradient Optimization Techniques被引用数 88

ひとこと要約

signSGDは分散非凸最適化における通信を削減するために勾配符号のみを送信し、SGDに似た収束と一致する。多数決により双方向の1ビット通信を可能にし、証明可能な分散のばらつきの低減を実現する。

ABSTRACT

Training large neural networks requires distributing learning across multiple workers, where the cost of communicating gradients can be a significant bottleneck. signSGD alleviates this problem by transmitting just the sign of each minibatch stochastic gradient. We prove that it can get the best of both worlds: compressed gradients and SGD-level convergence rate. The relative $\ell_1/\ell_2$ geometry of gradients, noise and curvature informs whether signSGD or SGD is theoretically better suited to a particular problem. On the practical side we find that the momentum counterpart of signSGD is able to match the accuracy and convergence speed of Adam on deep Imagenet models. We extend our theory to the distributed setting, where the parameter server uses majority vote to aggregate gradient signs from each worker enabling 1-bit compression of worker-server communication in both directions. Using a theorem by Gauss we prove that majority vote can achieve the same reduction in variance as full precision distributed SGD. Thus, there is great promise for sign-based optimisation schemes to achieve fast communication and fast convergence. Code to reproduce experiments is to be found at https://github.com/jxbz/signSGD .

研究の動機と目的

• 大規模分散ディープラーニングにおける勾配通信のボトルネックを動機づける。
• 圧縮を用いてSGDレベルの収束を達成するための符号ベース勾配更新を提案する。
• バイアスのある符号ベース更新の下での非凸最適化に関する理論を展開する。
• 多数決と双方向1ビットを用いる分散設定へ拡張する。
• モーメントゥム変種（Signum）とその収束性および実用的性能を検討する。

提案手法

• 更新が確率的勾配の符号のみを用いる signSGD を導入する。
• 符号をモーメントゥム平均勾配に適用して Signum を提案する。
• 座標ごとに滑らかさと座標ごとの分散上限を持つ非凸仮定の下で収束を分析する。
• パラメータサーバがM個のワーカからの1ビット勾配符号を集約する分散多数決スキームを開発する。
• 勾配とノイズの密度が特定の領域にある場合に、SGDと同程度の収束速度を示す収束境界を提供する。
• Signumモーメーメントゥムを含む理論フレームワークを拡張し、ウォームアップ期間を伴う収束を導出する。

実験結果

リサーチクエスチョン

• RQ1 符号ベースの勾配法は、非凸最適化においてどの条件下でSGDと同等の収束速度を達成するか。
• RQ2 座標間での勾配とノイズの密度が signSGD と Signum の性能にどのように影響するか。
• RQ3 多数決は収束性を損なうことなく双方向の効果的な1ビット通信を実現できるか。
• RQ4 符号ベース法におけるモーメントゥムがバイアスと分散のトレードオフに与える影響は何か。
• RQ5 CIFAR-10 や ImageNet のような大規模データセットに対して、sign-based 法は Adam および SGD と比較して経験的にどう性能を示すか。

主な発見

• signSGD は特定の L1/L2 の幾何学とノイズ条件の下で SGD に匹敵する収束速度を達成する。
• 分散設定では、多数決により双方向の1ビット通信が可能になり、単峰対称ノイズの下で分散のばらつきの低減はおおよそ sqrt(M) 倍になる。
• Signum（符号+モーメントゥム）は収束し、大規模モデルでAdamに近い性能を達成し、精度も競争力がある。
• 理論は勾配とノイズの密度を強調する。勾配が密にある場合、signSGD は高分散成分の疎性に対して頑健である；勾配が疎な場合、SGD は曲率とノイズに対してより頑健になり得る。
• CIFAR-10とImagenetでの実験結果は、signSGD/Signum が SGD/Adam と比較可能な性能を示し、Signum はImagenet相当の成果を達成し、精度で Adam に匹敵する可能性がある。