[論文レビュー] Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training

An Xu, Zhouyuan Huo+1 more|arXiv (Cornell University)|Feb 25, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、勾配分布に基づいて動的に最適な量子化レベルを決定する新規の勾配量子化方式BinGradおよびORQを提案する。これにより、量子化分散を最小化し、バイナリおよびマルチレベル圧縮において最適な性能を達成する。CIFARおよびImageNetにおける実験では、特に過酷な量子化や分散学習環境下でも、通信コストを低減しつつモデル精度を向上させた。

ABSTRACT

The communication of gradients is costly for training deep neural networks with multiple devices in computer vision applications. In particular, the growing size of deep learning models leads to higher communication overheads that defy the ideal linear training speedup regarding the number of devices. Gradient quantization is one of the common methods to reduce communication costs. However, it can lead to quantization error in the training and result in model performance degradation. In this work, we deduce the optimal condition of both the binary and multi-level gradient quantization for extbf{ANY} gradient distribution. Based on the optimal condition, we develop two novel quantization schemes: biased BinGrad and unbiased ORQ for binary and multi-level gradient quantization respectively, which dynamically determine the optimal quantization levels. Extensive experimental results on CIFAR and ImageNet datasets with several popular convolutional neural networks show the superiority of our proposed methods.

研究の動機と目的

• 特定の勾配分布を仮定せずに、勾配圧縮における最適量子化条件を導出すること。
• リアルタイムの勾配統計に基づいて動的に量子化レベルを適応させる実用的な量子化方式の設計。
• 分散ディープラーニング学習における量子化に起因する分散とバイアスを最小化すること。
• 特に過酷な圧縮条件下で、通信オーバーヘッドを低減しつつ、より優れたモデル性能を達成すること。
• 単一マシンおよびマルチワーカー分散環境の両方で、手法の有効性を検証すること。

提案手法

• 勾配分布の全情報を用いて、特定の分布を仮定せずに2段階およびマルチレベル勾配量子化の最適量子化条件を導出する。
• バイナリ量子化のためのBinGrad-bおよびBinGrad-pbを提案。バイアス-分散トレードオフの観点で異なる：BinGrad-bは分散を最小化し、BinGrad-pbは範囲を広げてバイアスを低減する。
• マルチレベル量子化のためのORQ（最適化されたランダム量子化）を導入。期待量子化分散を最小化するように、グリーディーなアルゴリズムで量子化レベルを選択する。
• 勾配の期待値を保持し、誤差を低減するために、学習可能パラメータを用いたランダムラウンドイングを採用する。
• 分散環境では、とくにレベル数が少ないORQの性能向上を目的に、勾配クリッピングを適用する。
• 通信コストを低減するため、固定サイズのチャンク（例：d=512）に分割した勾配圧縮を採用する。

実験結果

リサーチクエスチョン

• RQ1 任意の勾配分布下での2段階勾配量子化における最適条件は何か？
• RQ2 ガウス分布やラプラス分布を仮定せずに、マルチレベル勾配量子化をどのように最適化すれば分散を最小化できるか？
• RQ3 動的かつ分布に適応した量子化レベルは、QSGD や TernGrad などの固定レベル方式を上回る性能を発揮できるか？
• RQ4 過酷な圧縮や帯域制限のある分散学習環境下で、提案手法はどのように性能を発揮するか？
• RQ5 ベースライン手法と比較して、通信オーバーヘッドを削減しながらも、モデル精度を維持できるか？

主な発見

• Clippingを施さない状況および大バッチ設定下で、CIFAR-10/100においてORQはベースライン手法と比較して0.36%～2.85%高いトップ1精度を達成した。
• バケットサイズを128から32768に増加させた場合、ORQのテスト精度低下は4.58%にとどまり、ベースラインの5.23%より顕著に高いロバスト性を示した。
• ImageNetでは、ORQ-5およびORQ-9がFP勾配と比較して0.8%以内のテスト精度を達成し、ORQ-3はQSGD-5およびQSGD-9と同等の性能を示した。
• 圧縮比を20.2から10.1に低下させた場合、ORQのトップ1精度は1.47%向上したが、ベースラインは0.95%にとどまった。これにより、ORQの高い効率性が示された。
• BinGrad-bはBinGrad-pbより低い量子化誤差を達成し、Clippingなしの環境下でも、3段階量子化を上回るテスト精度を示した。
• 提案手法は、過酷な量子化条件下でも高い性能を維持しており、分散学習における通信制約に強く、耐性があることが示された。