[論文レビュー] NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization

Ali Ramezani-Kebrya, Fartash Faghri+4 more|City Research Online (City University London)|Apr 28, 2021

Advanced Neural Network Applications被引用数 12

ひとこと要約

本稿では、データ並列な確率的勾配降下法における非一様量子化スキームであるNUQSGDを提案する。QSGDに比べてより強い理論的保証を達成するとともに、ヒューリスティックなQSGDinfのバリエーションや他の圧縮手法と同等またはそれ以上の実験的性能を達成する。勾配の大きさに応じて量子化レベルを動的に割り当てることで、保証された収束安定性を維持しながら通信コストを削減する。

ABSTRACT

As the size and complexity of models and datasets grow, so does the need for communication-efficient variants of stochastic gradient descent that can be deployed to perform parallel model training. One popular communication-compression method for data-parallel SGD is QSGD (Alistarh et al., 2017), which quantizes and encodes gradients to reduce communication costs. The baseline variant of QSGD provides strong theoretical guarantees, however, for practical purposes, the authors proposed a heuristic variant which we call QSGDinf, which demonstrated impressive empirical gains for distributed training of large neural networks. In this paper, we build on this work to propose a new gradient quantization scheme, and show that it has both stronger theoretical guarantees than QSGD, and matches and exceeds the empirical performance of the QSGDinf heuristic and of other compression methods.

研究の動機と目的

• 分散学習における勾配圧縮の理論的保証と実験的性能のギャップを解消すること。
• QSGDinfのようなヒューリスティック手法の実験的利点を維持・向上させつつ、強力な理論的収束保証を維持する量子化スキームを開発すること。
• 勾配の大きさに応じて量子化レベルを最適化することで、データ並列なSGDにおける効率的な通信を可能にすること。
• 大規模モデル学習における既存の圧縮技術の代替手段として、保証された通信効率性を持つ代替手法を提供すること。

提案手法

• 大きな勾配の大きさに多くの量子化レベルを割り当てる非一様量子化スキームを提案し、最も重要な部分での精度を向上させる。
• 勾配統計に基づく非一様な分割戦略を用いて、勾配を離散的なレベルにマップする量子化関数を設計する。
• 量子化勾配をより少ないビット幅で送信できる通信効率の高い符号化手法を導入し、勾配の方向と大きさの正確さを保持する。
• 理論的分析により、標準的な仮定の下での収束を証明し、QSGDの保証を上回る境界を得る。
• 大規模なニューラルネットワーク学習において、QSGD、QSGDinf、および他の圧縮ベースラインと比較してNUQSGDの実験的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 非一様量子化スキームは、QSGDに比べてより強い理論的収束保証と、より優れた実験的性能を達成できるか？
• RQ2 勾配の大きさに応じた量子化レベルの動的割り当ては、学習の安定性と収束速度にどのように影響するか？
• RQ3 NUQSGDは、ヒューリスティックなQSGDinfのバリエーションに対して、モデル精度と通信効率の両面で優れているか？
• RQ4 既存の手法と比較して、NUQSGDの理論的通信複雑度はいかほどか？

主な発見

• NUQSGDは、QSGDよりもタイトな理論的境界を達成し、より強い理論的保証を示す。
• NUQSGDは、ヒューリスティックなQSGDinfのバリエーションと同等またはそれ以上の実験的性能を、大規模なニューラルネットワークの学習で達成する。
• 勾配の大きさに応じて量子化レベルを最適化することで、通信コストを削減し、最適化に寄与する部分での精度を向上させる。
• 実験結果から、NUQSGDは送信する勾配更新あたりのビット数を顕著に削減しながらも、高いモデル精度を維持していることが示された。