[論文レビュー] Adaptive Gradient Quantization for Data-Parallel SGD

Fartash Faghri, Iman Tabrizian+4 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Neural Network Applications参考文献 32被引用数 29

ひとこと要約

本稿では、データ並列SGDにおける勾配量子化のための2つの適応的勾配量子化手法、Adaptive Level Quantization (ALQ) と Adaptive Multiplier Quantization (AMQ) を提案する。これらの手法は、学習中に変化する勾配統計に基づいて動的に量子化レベルを調整することで、通信帯域が制限された条件下でもCIFAR-10でほぼ2%、ImageNetで1%の検証精度向上を達成する。また、固定量子化方式に比べてハイパーパrameterの選択に対してははるかに頑健である。

ABSTRACT

Many communication-efficient variants of SGD use gradient quantization schemes. These schemes are often heuristic and fixed over the course of training. We empirically observe that the statistics of gradients of deep models change during the training. Motivated by this observation, we introduce two adaptive quantization schemes, ALQ and AMQ. In both schemes, processors update their compression schemes in parallel by efficiently computing sufficient statistics of a parametric distribution. We improve the validation accuracy by almost 2% on CIFAR-10 and 1% on ImageNet in challenging low-cost communication setups. Our adaptive methods are also significantly more robust to the choice of hyperparameters.

研究の動機と目的

• データ並列SGDにおける固定量子化方式の限界を解決すること。固定方式は学習中に変化する勾配統計に適応できない。
• モデルの精度を損なわずに分散型ディープラーニングにおける通信コストを低減すること。
• 勾配分布の十分統計を用いて、複数のワーカー上で並列に更新可能な圧縮方式を設計する適応的量子化手法を開発すること。
• 動的なレベル調整によって過剰な量子化分散を最小化し、収束性と頑健性を向上させること。
• CIFAR-10 や ImageNet といった標準ベンチマークで、通信量が少ない環境下でも顕著な性能向上を示すこと。

提案手法

• ALQは、推定された勾配分布パラメータに基づいて最適な量子化レベルを計算することで、過剰な量子化分散を最小化する。パrametricモデルを用いる。
• AMQは、量子化レベルを指数的に間隔をあけて配置し、分散を最小化するための1つの乗数パラメータを最適化することで、計算を効率化する。
• 両手法とも、グローバルな同期を必要とせず、ワーカー間で並列に十分統計を計算し、圧縮方式を更新する。
• 座標単位の不偏量子化を想定し、一般正規化のもとで任意の量子化レベルをサポートする。
• 任意の適応的量子化手法（ALQ や AMQ を含む）に有効な、過剰分散および通信コストに関する理論的境界を確立する。
• バッチ処理ではなくストリーミング統計を用いることで、ZipML や他の先行適応的手法に比べて高い計算コストを回避する。

実験結果

リサーチクエスチョン

• RQ1 学習中に進化する適応的勾配量子化が、固定量子化方式に比べてモデル精度および通信効率で優れるか。
• RQ2 学習中に変化する勾配分布が、固定量子化方式の最適性にどのように影響するか。
• RQ3 グローバルな同期を必要とせず、分散環境でも効率的に動的量子化レベルを計算できるか。
• RQ4 固定方式に比べて、適応的手法がハイパーパrameter選択に対する感受性をどれほど低減できるか。
• RQ5 データ並列SGDにおける適応的量子化の過剰分散および通信コストの理論的上限は何か。

主な発見

• CIFAR-10 では低帯域通信環境下でALQとAMQが検証精度を1.9%向上させた。ImageNet では1.0%向上した。
• 同じ通信制約下でも、QSGDinf や TernGrad、NUQSGD よりも高い精度を達成した。
• 固定量子化方式に比べて、ハイパーパrameter選択に対してはるかに頑健であり、手動チューニングの必要性が大幅に低下した。
• ResNet-18 を用いたImageNetでは、ALQ（3ビット、バケットサイズ1024）で1ステップあたりの学習時間をFP32の0.21倍にまで短縮し、FP16の0.43倍にまで短縮した。
• 8ビット量子化でも、ALQの追加計算コストはFP32の1.5倍未満に抑えられ、実用的な効率性を示した。
• 理論的分析により、任意の適応的量子化手法（ALQ や AMQ を含む）に共通する、過剰分散および通信コストのタイトな境界が確立された。