[論文レビュー] NUQSGD: Improved Communication Efficiency for Data-parallel SGD via Nonuniform Quantization.

Ali Ramezani-Kebrya, Fartash Faghri+1 more|arXiv (Cornell University)|Aug 16, 2019

Advanced Neural Network Applications参考文献 2被引用数 14

ひとこと要約

本稿では、大規模なモデルとデータセットの分散学習における通信ボトル neck を軽減するための非一様量子化スキーム、NUQSGD を提案する。非一様量子化を活用することで、QSGD よりも強い理論的収束保証を達成しつつ、大規模なニューラルネットワークにおいて QSGDinf と同等の実験的性能を達成する。

ABSTRACT

As the size and complexity of models and datasets grow, so does the need for communication-efficient variants of stochastic gradient descent that can be deployed on clusters to perform model fitting in parallel. Alistarh et al. (2017) describe two variants of data-parallel SGD that quantize and encode gradients to lessen communication costs. For the first variant, QSGD, they provide strong theoretical guarantees. For the second variant, which we call QSGDinf, they demonstrate impressive empirical gains for distributed training of large neural networks. Building on their work, we propose an alternative scheme for quantizing gradients and show that it yields stronger theoretical guarantees than exist for QSGD while matching the empirical performance of QSGDinf.

研究の動機と目的

• 大規模なモデルとデータセットの分散学習における増大する通信ボトル neck を解決すること。
• QSGD や QSGDinf のような既存の量子化手法を改善し、実験的性能を損なわず理論的保証を強化すること。
• 通信効率とデータ並列 SGD における収束安定性の両立を図る量子化スキームの開発。
• QSGD よりも強い収束境界を持つ理論的に妥当な代替手法を提供すること。同時に、QSGDinf の実用的利点を維持すること。

提案手法

• データ並列 SGD の勾配ベクトルに対して、より大きな勾配成分に多くの量子化レベルを割り当てる非一様量子化戦略を提案する。
• 固定ビット予算下で期待される量子化誤差を最小化する量子化スキームを設計し、ビットあたりの精度を向上させる。
• 最小限の変更で標準的なデータ並列 SGD 学習パイプラインに量子化機構を統合する。
• 理論的分析により、NUQSGD が勾配推定における期待誤差を制限することで、QSGD よりも優れた収束保証を達成することを示す。
• 大規模なニューラルネットワーク学習ワークロードにおいて、NUQSGD を QSGD および QSGDinf と比較して実験的評価を行う。
• 量子化勾配を表現するための確率的符号化方式を用いることで、通信オーバーヘッドを低減しつつモデル精度を保持する。

実験結果

リサーチクエスチョン

• RQ1 非一様量子化戦略は、一様量子化と比較して分散 SGD における理論的収束保証を改善できるか？
• RQ2 非一様量子化は、大規模ニューラルネットワーク学習において QSGDinf の実験的性能を維持または上回るか？
• RQ3 同じビット予算下で、NUQSGD の通信効率は QSGD や QSGDinf と比べてどうか？
• RQ4 NUQSGD は QSGD よりも強い理論的境界を達成できるか？ また、QSGDinf の実用的利点を維持できるか？

主な発見

• NUQSGD は、量子化勾配における期待誤差を低減することで、QSGD よりも強い理論的収束保証を提供する。
• 提案手法は、大規模なニューラルネットワークの学習において、QSGDinf と同等の実験的性能を達成し、同等の精度と収束速度を実現する。
• 非一様量子化は、一様スキームと比較してビットあたりの量子化誤差が低くなるため、通信効率が向上する。
• 理論的分析により、NUQSGD は標準的な仮定下で収束を維持し、QSGD よりも tighter な境界を持つことが確認された。
• 実験的結果から、NUQSGD は通信コストを削減しつつ、分散環境下で競争力のある学習精度を達成することが示された。
• 本手法は理論的頑健性と実用的性能の両立に成功し、理論的には QSGD を上回り、実践的には QSGDinf と同等の性能を発揮した。