[論文レビュー] GradiVeQ: Vector Quantization for Bandwidth-Efficient Gradient Aggregation in Distributed CNN Training

Mingchao Yu, Zhifeng Lin+7 more|arXiv (Cornell University)|Nov 8, 2018

Advanced Neural Network Applications参考文献 32被引用数 10

ひとこと要約

GradiVeQ は、PCA を用いて CNN の勾配における線形相関を活用するベクトル量子化技術であり、リングアラルーレッド（RAR）と組み合わせて可換な圧縮を実現することで、並列化された圧縮と通信を可能にする。これにより、勾配集約時間を 5 倍以上短縮し、エンドツーエンドの学習時間を約 50% 減少させつつ、顕著な精度損失なしに、QSGD などのスカラ量子化手法を上回る性能を発揮する。

ABSTRACT

Data parallelism can boost the training speed of convolutional neural networks (CNN), but could suffer from significant communication costs caused by gradient aggregation. To alleviate this problem, several scalar quantization techniques have been developed to compress the gradients. But these techniques could perform poorly when used together with decentralized aggregation protocols like ring all-reduce (RAR), mainly due to their inability to directly aggregate compressed gradients. In this paper, we empirically demonstrate the strong linear correlations between CNN gradients, and propose a gradient vector quantization technique, named GradiVeQ, to exploit these correlations through principal component analysis (PCA) for substantial gradient dimension reduction. GradiVeQ enables direct aggregation of compressed gradients, hence allows us to build a distributed learning system that parallelizes GradiVeQ gradient compression and RAR communications. Extensive experiments on popular CNNs demonstrate that applying GradiVeQ slashes the wall-clock gradient aggregation time of the original RAR by more than 5X without noticeable accuracy loss, and reduces the end-to-end training time by almost 50%. The results also show that GradiVeQ is compatible with scalar quantization techniques such as QSGD (Quantized SGD), and achieves a much higher speed-up gain under the same compression ratio.

研究の動機と目的

• 頻繁な勾配集約に起因する分散 CNN 学習における通信ボトル neck を解消すること。
• リングアラルーレッド（RAR）のような分散型集約プロトコルと互換性のないスカラ量子化の問題を克服し、圧縮と通信の並列化を可能にすること。
• 集約と可換な勾配圧縮手法を開発し、圧縮された勾配の直接的な和算を可能にすること。
• 勾配集約時間およびエンドツーエンドの学習時間を顕著に短縮しつつ、モデルの精度を維持すること。
• 既存のスカラ量子化技術（例：QSGD）と組み合わせてハイブリッド圧縮戦略を実現できることを示すこと。

提案手法

• CNN の勾配に対して主成分分析（PCA）を適用し、強い線形相関を活用することで勾配の次元を低減する。
• 低次元化された PCA 成分に対してベクトル量子化を適用し、RAR と可換な圧縮を実現する。
• 圧縮関数は可換性条件を満たすように設計されている：∑Q(gₙ) = Q(∑gₙ) であり、圧縮された勾配の直接的な集約が可能である。
• ローカル勾配の圧縮とリモートセグメントのダウンロードを並列化することで、圧縮と通信の並列化を実現する。
• ハイブリッド利用をサポート：帯域効率を向上させるために GradiVeQ を選択的に適用し、非 GradiVeQ ステップではスカラ量子化（例：4 ビット QSGD）を用いて互換性を維持する。
• GradiVeQ 圧縮と RAR を統合した分散学習フレームワークに実装され、エンドツーエンドの学習が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 CNN の勾配に強い線形相関が存在する場合、リングアラルーレッド（RAR）のような分散型集約プロトコルと可換な勾配圧縮を実現できるか？
• RQ2 PCA を用いたベクトル量子化は、圧縮された勾配の直接的集約を可能にし、圧縮と通信の並列化を実現できるか？
• RQ3 QSGD などのスカラ量子化手法と比較して、GradiVeQ は勾配集約時間およびエンドツーエンドの学習時間の短縮においてどのように性能を発揮するか？
• RQ4 GradiVeQ をスカラ量子化と効果的に組み合わせることで、通信コストをさらに削減できるか、かつモデル収束性が劣化しないか？
• RQ5 CPU および GPU 環境を含むさまざまなハードウェア環境において、GradiVeQ はモデル精度および学習効率にどのような影響を及えるか？

主な発見

• GradiVeQ は RAR のウォールクロック時間による勾配集約時間を 5 倍以上短縮し、CPU 環境では 5.25 倍、GPU 環境では 4 倍の高速化を達成した。
• エンドツーエンドの学習時間は GradiVeQ を適用することで約 50% 減少した。CPU 環境では 135,000 秒（非圧縮 RAR）から 76,000 秒に、GPU 環境では 75,000 秒から 24,000 秒に短縮された。
• すべてのシステムで 45,000 イテレーションで収束したため、GradiVeQ が必要なイテレーション数を増加させないことが確認された。
• テスト精度はわずかな範囲で維持された：非圧縮時 0.676、4 ビット QSGD 時 0.667、GradiVeQ 時 0.666 であり、精度損失は最小限に抑えられた。
• 同じ圧縮比において、GradiVeQ は 4 ビット QSGD よりも顕著に優れた性能を発揮した。これは、圧縮と通信の並列化が可能であるためである。
• GPU 環境では通信が主なボトル neck となっており（学習時間の 88% を占める）、GradiVeQ を適用することで非圧縮 RAR と比較してエンドツーエンド時間は 4 倍短縮され、4 ビット QSGD と比較しても 1.4 倍の高速化が達成された。