[論文レビュー] Error Compensated Distributed SGD Can Be Accelerated

Xun Qian, Peter Richtárik+1 more|arXiv (Cornell University)|Sep 30, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用数 8

ひとこと要約

本稿では、任意の収縮圧縮機に対して勾配圧縮と誤差フィードバックを統合した、誤差補正付きループレスKatyusha法を提案する。これは、誤差補正付き圧縮SGDにおける最初の加速線形収束レートを確立し、実際の通信ラウンド数を顕著に削減する一方で、バイアスあり・なしの両方の圧縮機について理論的保証を維持する。

ABSTRACT

Gradient compression is a recent and increasingly popular technique for reducing the communication cost in distributed training of large-scale machine learning models. In this work we focus on developing efficient distributed methods that can work for any compressor satisfying a certain contraction property, which includes both unbiased (after appropriate scaling) and biased compressors such as RandK and TopK. Applied naively, gradient compression introduces errors that either slow down convergence or lead to divergence. A popular technique designed to tackle this issue is error compensation/error feedback. Due to the difficulties associated with analyzing biased compressors, it is not known whether gradient compression with error compensation can be combined with Nesterov's acceleration. In this work, we show for the first time that error compensated gradient compression methods can be accelerated. In particular, we propose and study the error compensated loopless Katyusha method, and establish an accelerated linear convergence rate under standard assumptions. We show through numerical experiments that the proposed method converges with substantially fewer communication rounds than previous error compensated algorithms.

研究の動機と目的

• 通信効率の向上を目的とした、勾配圧縮と誤差補正を統合した加速分散最適化手法の開発。
• TopK や RandK のようなバイアスあり圧縮機を用いた誤差補正SGDの加速における理論的ギャップを埋める。
• 標準的な滑らかさと凸性の仮定の下で、広範な圧縮機クラスに対して線形収束レートを確立する。
• 実験的に、提案手法が従来の誤差補正付きアルゴリズムと比較して顕著に少ない通信ラウンドで収束することを示す。

提案手法

• Nesterovの加速SGDの変種として、勾配圧縮を伴う分散設定に適応した誤差補正付きループレスKatyusha法を提案する。
• 圧縮機がもたらすバイアスを扱うために、新しいリャプノフ関数の分析を導入し、収縮性の性質のもとで収束の証明を可能にする。
• 反復処理全体にわたり量子化誤差を追跡・補正する誤差フィードバックを採用し、圧縮に起因するバイアスに対しても収束を保証する。
• 適応的ステップサイズと誤差補正を組み合わせたモーメンタムベースの更新則を用いて、加速を達成する。
• 非バイアスあり・バイアスありの両方の圧縮機（TopK や RandK を含む）に適用可能な統一されたフレームワークを用いて収束を分析する。
• 期待誤差、勾配ノルム、誤差フィードバック項を含む再帰的不等式を用いて収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 TopK や RandK のようなバイアスあり圧縮機を用いた誤差補正付き分散SGDを、どのようにして加速できるか？
• RQ2 標準的な滑らかさと凸性の仮定のもとで、誤差補正付き圧縮SGDに線形収束を達成することは可能か？
• RQ3 誤差補正SGDの収束レートを、Katyusha のような加速手法と同等のものに改善できるか？
• RQ4 提案手法は、既存の誤差補正付きアルゴリズムと比較して、通信効率に優れているか？
• RQ5 分散最適化において、誤差フィードバックとNesterov型加速を組み合わせた理論的影響は何か？

主な発見

• 提案された誤差補正付きループレスKatyusha法は、任意の収縮圧縮機を用いた分散SGDに対して、加速線形収束レートを達成する。
• この手法は、誤差補正付き圧縮SGDにおける最初の理論的加速保証を確立し、長年の未解決問題を解決する。
• 数値実験では、従来の誤差補正付きアルゴリズムと比較して、顕著に少ない通信ラウンドで収束することが示された。
• 同じ仮定のもとで、標準Katyushaと同等の収束レートを達成しており、圧縮と誤差フィードバックがあっても加速が維持されることを証明した。
• TopK や RandK を含むバイアスあり・なしの両方の圧縮機に対して、統一されたフレームワークのもとで有効であり、理論的保証が成立する。
• 誤差フィードバックにより誤差蓄積が有界に保たれ、激しい圧縮に対しても安定かつ高速な収束が可能になる。