[論文レビュー] Variance-based Gradient Compression for Efficient Distributed Deep Learning

Yusuke Tsuzuku, Hiroto Imachi+1 more|arXiv (Cornell University)|Feb 16, 2018

Advanced Neural Network Applications参考文献 15被引用数 50

ひとこと要約

分散学習における通信を大幅に削減する、 unlikely gradient updates を遅延させる分散的勾配圧縮を提案し、精度をほぼ維持しつつ高い圧縮を実現。

ABSTRACT

Due to the substantial computational cost, training state-of-the-art deep neural networks for large-scale datasets often requires distributed training using multiple computation workers. However, by nature, workers need to frequently communicate gradients, causing severe bottlenecks, especially on lower bandwidth connections. A few methods have been proposed to compress gradient for efficient communication, but they either suffer a low compression ratio or significantly harm the resulting model accuracy, particularly when applied to convolutional neural networks. To address these issues, we propose a method to reduce the communication overhead of distributed deep learning. Our key observation is that gradient updates can be delayed until an unambiguous (high amplitude, low variance) gradient has been calculated. We also present an efficient algorithm to compute the variance with negligible additional cost. We experimentally show that our method can achieve very high compression ratio while maintaining the result model accuracy. We also analyze the efficiency using computation and communication cost models and provide the evidence that this method enables distributed deep learning for many scenarios with commodity environments.

研究の動機と目的

• データ並列分散深層学習における通信ボトルネックを動機づけ、解決する。
• 勾配の分散を用いて更新を送信すべきかを判断する勾配圧縮法を提案する。
• モデルの精度を犠牲にせず高い圧縮率を実現し、他の圧縮手法との互換性を示す。
• CIFAR-10 および ImageNet に関する分析と実証結果を提供し、一般的なネットワーク上での実用性を示す。

提案手法

• 勾配要素が曖昧（信号対雑音が低い）場合に、分散の基準に基づいて送信を遅延する。
• 閾値基準を用いる：alpha' / |B| * V_B[∇_i f_z(x)] < (∇_i f_B(x))^2 により勾配要素の送信可否を決定する。
• 別コストを増やさずに基準を効率的に計算するため、勾配の和と二乗和を保持する。
• 送信する要素を 4-bit に量子化し、1 ビットの符号ビットと 3 ビットの指数ビット、疎な通信のためのパラメータインデックスをエンコードする。
• 全体通信の繰り返しエンコード/デコードを避けるため、allgatherv を用いた疎化勾配通信を実現する。
• さらなる圧縮のために Strom のスパース化法や QSGD と組み合わせるハイブリッド法を選択可能。
• 実用的な実装を提供するため、基準の実用的な形と分散の更新-減衰機構 zeta を導出する。

実験結果

リサーチクエスチョン

• RQ1 分散深層学習において、分散勾配通信を分散の分散ベースの基準でどれだけ削減できるか？
• RQ2 分散の大規模タスク（ImageNet など）で、分散の精度を保ちながら高い圧縮を達成できるか？
• RQ3 提案手法は量子化・スパース化など既存の圧縮技術とどのように相互作用し、補完しうるか？
• RQ4 商品性のハードウェア上で、分散勾配圧縮の実装に要する実用的な計算コストと通信コストはどの程度か？

主な発見

Method	Accuracy	Compression
Adam, no compression	88.1	1
Adam, Strom, tau=0.001	62.8	88.5
Adam, Strom, tau=0.01	85.0	230.1
Adam, Strom, tau=0.1	88.0	6,942.8
Adam, our method, alpha=1	88.9	120.7
Adam, our method, alpha=1.5	88.9	453.3
Adam, our method, alpha=2.0	88.9	913.4
Adam, hybrid, tau=0.01, alpha=2.0	85.0	1,942.2
Adam, hybrid, tau=0.1, alpha=2.0	88.2	12,822.4
Adam, QSGD (2bit, d=128)	88.8	12.3
Adam, QSGD (3bit, d=512)	87.4	14.4
Adam, QSGD (4bit, d=512)	88.2	11.0
Momentum SGD, no compression	91.7	1
Momentum SGD, Strom, tau=0.001	84.8	6.6
Momentum SGD, Strom, tau=0.01	10.6	990.7
Momentum SGD, Strom, tau=0.1	71.6	8,485.0
Momentum SGD, our method, alpha=1	?	?
Momentum SGD, our method, alpha=1.5	?	?
Momentum SGD, our method, alpha=2.0	?	?
Momentum SGD, hybrid, tau=0.01, alpha=2.0	87.6	983.9
Momentum SGD, hybrid, tau=0.1, alpha=2.0	87.1	12,396.8
Momentum SGD, QSGD (2bit, d=128)	90.8	6.6
Momentum SGD, QSGD (3bit, d=512)	91.4	7.0
Momentum SGD, QSGD (4bit, d=512)	91.7	4.0

• CIFAR-10 において、Adam で高い圧縮とほぼ同等または改善された精度を達成し、Momentum SGD でも強い圧縮を実現。
• CIFAR-10 では、alpha を {1,1.5,2.0} とすると、精度は約 88.9% 程度で、通信を大幅に削減（alpha=2.0 で Adam は最大 913.4x、Momentum SGD は 383.6x ）。
• ハイブリッド法（分散ベース＋Strom） は大幅な圧縮をもたらす一方、いくつかの設定で精度の低下が最小限。Strom 単独の手法よりも優れている。
• ImageNet（ResNet-50）では、分散ベース法は量子化ベースのアプローチに近い精度を維持しつつ、実質的な圧縮を達成（例：alpha=2.0 で 75.1%-75.5% の精度、Momentum SGD 下で 990.7x–5,173.8x 圧縮）。
• Variance-based compression は一般的なインターコネクト上での拡張可能な分散学習を可能とし、allgatherv ベースの通信が高い圧縮率の恩恵を受ける。