[論文レビュー] Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback

Shuai Zheng, Ziyue Huang+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 28被引用数 41

ひとこと要約

この論文は dist-EF-SGD およびブロック単位の変種を提案し、誤差フィードバックとモーメントを用いた2方向勾配圧縮を実現します。非凸問題に対する収束速度を保ちながら、全精度の分散 SGD/SGDM を実用上ほぼ同等の性能で維持しつつ、約32倍の通信削減を達成します。

ABSTRACT

Communication overhead is a major bottleneck hampering the scalability of distributed machine learning systems. Recently, there has been a surge of interest in using gradient compression to improve the communication efficiency of distributed neural network training. Using 1-bit quantization, signSGD with majority vote achieves a 32x reduction on communication cost. However, its convergence is based on unrealistic assumptions and can diverge in practice. In this paper, we propose a general distributed compressed SGD with Nesterov's momentum. We consider two-way compression, which compresses the gradients both to and from workers. Convergence analysis on nonconvex problems for general gradient compressors is provided. By partitioning the gradient into blocks, a blockwise compressor is introduced such that each gradient block is compressed and transmitted in 1-bit format with a scaling factor, leading to a nearly 32x reduction on communication. Experimental results show that the proposed method converges as fast as full-precision distributed momentum SGD and achieves the same testing accuracy. In particular, on distributed ResNet training with 7 workers on the ImageNet, the proposed algorithm achieves the same testing accuracy as momentum SGD using full-precision gradients, but with $46\%$ less wall clock time.

研究の動機と目的

• 分散 SGD/SGDM における大規模深層学習の通信ボトルネックを動機づけ、解決する。
• パラメータサーバー構成での誤差フィードバックを用いた2方向勾配圧縮を開発する。
• 収束を保ちつつ圧縮品質を向上させるブロック単位の勾配圧縮を提案する。
• 非凸目的関数に対する dist-EF-SGD および dist-EF-SGDM の理論的収束保証を確立する。
• ResNet/ImageNet および CIFAR-100 の実験で全精度トレーニングと同程度の精度を示し、アプローチを検証する。

提案手法

• EF-SGD を勾配圧縮と誤差フィードバックを両方のワーカーとサーバーで適用した分散設定に拡張する。
• dist-EF-SGD およびブロック単位変種 dist-EF-blockSGD を、2方向圧縮と誤差訂正を組み合わせ、局所誤差項・全体誤差項の再スケーリングを導入してステップサイズの変化に対応する。
• 標準仮定の下での収束解析を提供し、非凸問題に対して全精度の分散 SGD に一致する O(1/√(MT)) 収束率を証明する。
• ブロックごとに分割して各ブロックをブロック特有のスケーリング因子で圧縮するブロック単位圧縮機 C_B を導入し、δ を高く保つことで約32x の通信削減を実現する。
• Nesterov モーメントを dist-EF-blockSGDM に拡張し、収束結果を導出し、圧縮ノイズに対するモーメントのトレードオフを検討する。
• 任意で、同様の2方向圧縮フレームワークに従うモーメント有効化バリアントを含めることがある。

実験結果

リサーチクエスチョン

• RQ1 分散パラメータサーバー設定において、誤差フィードバックを伴う2方向勾配圧縮が非凸目的関数で収束保証を達成できるか？
• RQ2 ブロック単位の圧縮は、1-shot の符号ベース法と比較して圧縮品質と収束にどのような影響を及ぼすか？
• RQ3 dist-EF-SGD および dist-EF-SGDM の非凸学習における定常・減衰・増加ステップサイズ時の収束率はどのようになるか？
• RQ4 提案するブロック単位圧縮は δ をどのように改善し、標準の1-bit符号ベース圧縮と比較して収束にどう寄与するか？
• RQ5 提案手法は大規模実験（例: ImageNet の ResNet）で通信を大幅削減しつつ精度を維持できるか？

主な発見

• dist-EF-SGD は標準仮定の下で O(1/√(MT)) 収束率を達成し、全精度勾配を用いた分散 SGD と一致する。
• dist-EF-SGDM は Nesterov モーメントを用いても O(1/√(MT)) 収束率を達成する。
• ブロック圧縮機 C_B は φ(v)-近似圧縮機であり φ(v) ≥ min_b 1/d_b を満たし、ほぼ32xの通信削減を実現する。
• 実験結果は、ImageNet/ResNet-50 で全精度モーメント SGD に匹敵するテスト精度を示し、 wall-clock での大幅な時間短縮を示す（46% 速い）。
• SignSGD ベースの手法は報告された実験で精度が劣る傾向があり、EF ベースおよびブロック-EF 法の頑健性を際立たせる。