[論文レビュー] Accordion: Adaptive Gradient Communication via Critical Learning Regime Identification

Saurabh Agarwal, Hongyi Wang+3 more|arXiv (Cornell University)|Oct 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 15

ひとこと要約

Accordion は、勾配ノルムの変化を用いて特定される重要な学習状態を検出し、それに応じて動的に圧縮を調整する適応的勾配圧縮アルゴリズムである。低圧縮学習と同等のモデル精度を維持しながら、分散学習において静的手法と比較して最大 5.5× の圧縮率向上と 4.1× のエンドツーエンドの高速化を達成している。

ABSTRACT

Distributed model training suffers from communication bottlenecks due to frequent model updates transmitted across compute nodes. To alleviate these bottlenecks, practitioners use gradient compression techniques like sparsification, quantization, or low-rank updates. The techniques usually require choosing a static compression ratio, often requiring users to balance the trade-off between model accuracy and per-iteration speedup. In this work, we show that such performance degradation due to choosing a high compression ratio is not fundamental. An adaptive compression strategy can reduce communication while maintaining final test accuracy. Inspired by recent findings on critical learning regimes, in which small gradient errors can have irrecoverable impact on model performance, we propose Accordion a simple yet effective adaptive compression algorithm. While Accordion maintains a high enough compression rate on average, it avoids over-compressing gradients whenever in critical learning regimes, detected by a simple gradient-norm based criterion. Our extensive experimental study over a number of machine learning tasks in distributed environments indicates that Accordion, maintains similar model accuracy to uncompressed training, yet achieves up to 5.5x better compression and up to 4.1x end-to-end speedup over static approaches. We show that Accordion also works for adjusting the batch size, another popular strategy for alleviating communication bottlenecks.

研究の動機と目的

• 分散学習における通信効率とモデル精度の根本的トレードオフを解消すること。
• 勾配ノルムのダイナミクスをシグナルとして用いて、高圧縮が性能を低下させる重要な学習状態を同定すること。
• ハイパーパramータのチューニングを必要とせず、低オーバーヘッドで汎用的な適応的圧縮戦略を設計すること。
• 適応的圧縮が、精度と速度の両面で静的圧縮を上回ることを実証すること。
• 適応的バッチサイズと適応的勾配圧縮の間の同等性を調査すること。

提案手法

• Accordion は、勾配ノルムの大きさの変化率をモニタリングすることで、重要な学習状態を検出する。
• 重要な状態では、モデル性能を保持するため、低圧縮（例：PowerSGD におけるランク 2、または高い K の Top-K）に切り替える。
• 重要な状態以外では、通信量を削減するために高圧縮（例：ランク 1 または低い K の Top-K）を適用する。
• アルゴリズムは二つの圧縮レベル、ℓ_low（安全で正確）と ℓ_high（高圧縮）を用い、勾配ノルムのダイナミクスによって切り替えをトリガーする。
• 追加のハイパーパramータチューニングを一切行わず、圧縮切り替えを誘導するのには勾配ノルムの変化のみに依存する。
• スパarsification（Top-K）と低ランク近似（PowerSGD）の両方の圧縮技術と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 適応的圧縮によって、分散学習における通信効率とモデル精度のトレードオフを克服できるか？
• RQ2 実際の現場で、勾配ノルムのダイナミクスを用いて重要な学習状態を信頼性高く検出できるか？
• RQ3 学習段階に応じて圧縮を動的に調整することで、通信効率と最終的なモデル精度の両方が向上するか？
• RQ4 訓練結果の観点から、適応的バッチサイズと適応的勾配圧縮の間には実用的な同等性があるか？
• RQ5 Accordion は、顕著に少ない通信量で低圧縮学習と同等のパフォーマンスを達成できるか？

主な発見

• Accordion は、静的圧縮手法と比較して最大 5.5× の圧縮率向上と 4.1× のエンドツーエンドの高速化を達成しながら、テスト精度を維持している。
• Cifar-100 で訓練された ResNet-18 において、Accordion は低圧縮（ランク 2）学習と同等の精度を達成しているが、送信する浮動小数点数は 3.7× 少ない。
• 低圧縮学習と同等の通信予算が与えられた場合、ランク 1 の PowerSGD はランク 2 の精度に到達できないが、Accordion は通信量を削減しながらもその精度に到達している。
• Cifar-100 で VGG-19 を使用した場合、ℓ_low = ランク 2 かつ ℓ_high = ランク 4 とした Accordion は、ランク 4 学習と同等の精度を達成しながら通信量を 2.3× 減少させた。
• この手法は Top-K スパース化と PowerSGD による低ランク圧縮の両方で効果的に機能し、広範な適用可能性を示している。
• 勾配ノルムの変化率は、重要な学習状態を特定するための信頼できるプロキシであり、正確な圧縮切り替えを可能にしている。