[論文レビュー] QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding

Dan Alistarh, Demjan Grubic+3 more|arXiv (Cornell University)|Oct 7, 2016

Stochastic Gradient Optimization Techniques被引用数 907

ひとこと要約

QSGD は、データ並列 SGD の通信を削減するために Elias コーディングを用いた確率的勾配量子化を導入し、深層ネットワークの精度を損なうことなく収束保証と実用的なスピードアップを提供します。

ABSTRACT

Parallel implementations of stochastic gradient descent (SGD) have received significant research attention, thanks to excellent scalability properties of this algorithm, and to its efficiency in the context of training deep neural networks. A fundamental barrier for parallelizing large-scale SGD is the fact that the cost of communicating the gradient updates between nodes can be very large. Consequently, lossy compression heuristics have been proposed, by which nodes only communicate quantized gradients. Although effective in practice, these heuristics do not always provably converge, and it is not clear whether they are optimal. In this paper, we propose Quantized SGD (QSGD), a family of compression schemes which allow the compression of gradient updates at each node, while guaranteeing convergence under standard assumptions. QSGD allows the user to trade off compression and convergence time: it can communicate a sublinear number of bits per iteration in the model dimension, and can achieve asymptotically optimal communication cost. We complement our theoretical results with empirical data, showing that QSGD can significantly reduce communication cost, while being competitive with standard uncompressed techniques on a variety of real tasks. In particular, experiments show that gradient quantization applied to training of deep neural networks for image classification and automated speech recognition can lead to significant reductions in communication cost, and end-to-end training time. For instance, on 16 GPUs, we are able to train a ResNet-152 network on ImageNet 1.8x faster to full accuracy. Of note, we show that there exist generic parameter settings under which all known network architectures preserve or slightly improve their full accuracy when using quantization.

研究の動機と目的

• スケーラブルなデータ並列 SGD を、勾配交換の通信ボトルネックに対処することで動機づける。
• 凸・非凸目的関数の下で収束保証を持つ量子化 SGD フレームワークを開発する。
• 収束を壊さずに quantized gradients を効率的に圧縮する実用的なエンコーディング手法を提供する。
• 深層ニューラルネットワークへの適用性を示し、エンドツーエンドの訓練時間を substantial に削減する。

提案手法

• unbiased を保ちつつ分散を制御する s レベルの確率的勾配量子化 Q_s(v) を提案する。
• quantized gradients を、量子化値の分布特性を活用したロスレス Elias ベースの符号化方式でエンコードする。
• バケットサイズ d で分散を制御し、ベクトルのノルムでスケールして安定性を確保するバケット量子化を許容する。
• 理論的境界を導出する：分散の膨張は min(n/s^2, sqrt(n)/s) および各ラウンドの通信長。
• QSVRG（分散減少）や非凸設定への拡張で収束保証を提供するバリアント。
• バケット化、最大正規化、GPU に優しい符号化の実装ノートを提供する。

実験結果

リサーチクエスチョン

• RQ1 convex および非凸目的の下で、勾配量子化が並列 SGD の収束保証にどのように影響するか？
• RQ2 反復ごとの通信ビット数と収束/分散のトレードオフは何か？
• RQ3 効率的な符号化を伴う確率的量子化は、精度を保ちながら深層ネットの通信を大幅に削減できるか？
• RQ4 QSGD のバリアント（分散減少版を含む）は、全精度 SGD と比較して実用上どうであるか？

主な発見

ネットワーク	データセット	パラメータ数	初期化率	Top-1 (32ビット)	Top-1 (QSGD)	スピードアップ（8 GPU）
AlexNet	ImageNet	62M	0.07	59.50%	60.05% (4bit)	2.05×
ResNet152	ImageNet	60M	1	77.0%	76.74% (8bit)	1.56×
ResNet50	ImageNet	25M	1	74.68%	74.76% (4bit)	1.26×
ResNet110	CIFAR-10	1M	0.1	93.86%	94.19% (4bit)	1.10×
BN-Inception	ImageNet	11M	3.6	-	-	1.16× (projected)
VGG19	ImageNet	143M	0.1	-	-	2.25× (projected)
LSTM	AN4	13M	0.5	81.13%	81.15% (4bit)	2× (2 GPUs)

• QSGD は収束保証を持つ大幅な通信削減を達成し、GPU での実用的なスピードアップを可能にする。
• dense regime (s = sqrt(n)) では、1 回の反復あたりの通信は 2.8n + 32 bits にもなる低さで、分散は最大で 2 倍程度の増加。
• Two extremes: 期待されるビット数は O(sqrt(n) (log n + O(1)))、分散増加は最大で O(sqrt(n))、または1回あたり ≤ 2.8n + 32ビットで、反復数は約2倍になる。
• Empirical results show substantial training time reductions across ImageNet classifiers and LSTM speech models, with minimal or no loss in accuracy (e.g., AlexNet on 16 GPUs: 4x less communication and 2.5x faster epoch; ResNet-152 on 16 GPUs: ≈2x faster end-to-end).
• QSGD variants like QSVRG retain exponential convergence properties and offer favorable per-epoch communication relative to problem conditioning.
• Quantization noise can even slightly improve accuracy in some settings, consistent with observed benefits of gradient noise in deep learning.