[論文レビュー] The Error-Feedback Framework: Better Rates for SGD with Delayed Gradients and Compressed Communication

Sebastian U. Stich, Sai Praneeth Karimireddy|arXiv (Cornell University)|Sep 11, 2019

Stochastic Gradient Optimization Techniques参考文献 65被引用数 78

ひとこと要約

この論文は、遅延および圧縮勾配を伴う SGD を分析するためのエラーフィードバック枠組みを開発し、遅延は主に高次項に影響し、ノイズ下で最適な確率的収束速度を変えないことを示し、圧縮勾配と誤差補償および局所 SGD への結果の拡張を行う。

ABSTRACT

We analyze (stochastic) gradient descent (SGD) with delayed updates on smooth quasi-convex and non-convex functions and derive concise, non-asymptotic, convergence rates. We show that the rate of convergence in all cases consists of two terms: (i) a stochastic term which is not affected by the delay, and (ii) a higher order deterministic term which is only linearly slowed down by the delay. Thus, in the presence of noise, the effects of the delay become negligible after a few iterations and the algorithm converges at the same optimal rate as standard SGD. This result extends a line of research that showed similar results in the asymptotic regime or for strongly-convex quadratic functions only. We further show similar results for SGD with more intricate form of delayed gradients -- compressed gradients under error compensation and for local~SGD where multiple workers perform local steps before communicating with each other. In all of these settings, we improve upon the best known rates. These results show that SGD is robust to compressed and/or delayed stochastic gradient updates. This is in particular important for distributed parallel implementations, where asynchronous and communication efficient methods are the key to achieve linear speedups for optimization with multiple devices.

研究の動機と目的

• 滑らかで準凸および非凸関数に対して、遅延／古い更新を伴う SGD を動機づけて分析する。
• ノイズ駆動項と遅延影響を受けた決定論的項を分離する非漸近的収束速度を導出する。
• 誤差補償を伴う圧縮勾配および局所 SGD への解析を拡張する。
• 準凸および非凸設定全体にわたる厳密な反復計算複雑度の結果を提供する。
• 非同期更新と通信効率が鍵となる分散最適化への洞察を提供する。

提案手法

• エラー・フィードバック（EC-SGD）フレームワークを、遅延と圧縮を捉える補助系列と仮想反復を用いて導入する。
• perturbed iterate 分析と標準的な滑らかさの推定を用いて仮想反復の一歩進捗境界を導出する。
• 誤差をバイアスとノイズの成分に分解して、より大きな学習率を可能にし、遅延依存項を引き締める。
• 強い準凸・一般準凸・非凸の場合について非漸近的な反復複雑度の結果を提供する。
• 誤差補償と局所 SGD の変種への分析を拡張する。
• 三部構成の証明戦略を概説する：一歩進捗、確立された技術による最終複雑度、誤差バイアス／ノイズの分割。

実験結果

リサーチクエスチョン

• RQ1 遅延勾配更新は準凸および非凸の目的関数に対する SGD の収束にどのような影響を与えるか？
• RQ2 エラーフィードバック枠組みは、確率的項と遅延項を分離する非漸近的な収束速度を導出できるか？
• RQ3 誤差補償と局所 SGD を伴う圧縮勾配は、この枠組み下で類似の有利な速度を認めるか？
• RQ4 強い準凸・一般準凸・非凸の設定における遅延または圧縮下の反復複雑度はどの程度か？
• RQ5 これらの結果を既存の漸近的あるいは二次関数特有の解析と比較するとどうなるか？

主な発見

• 収束速度は遅延に影響されない確率項と、遅延によって線形に遅くなる高次の決定論的項から成り立つ。これによりノイズ下では遅延の影響は無視可能になる。
• フレームワークは、誤差補償と局所 SGD への圧縮勾配への拡張を可能にし、従来の速度を改善する。
• 強い準凸および一般準凸関数について、遅延依存を明示した反復複雑度を導出し、対数因子を除くほぼ最適なスケーリングを示す。
• 一般的な滑らかな非凸関数についても、遅延とノイズの項を明示した収束先点の速度を与える。
• 非凸の場合、分析は勾配が有界である仮定を必要とせず、圧縮パラメータに対する二次依存の結果を改善する。
• これらの技術を用いた他者の追随研究により、局所 SGD の速度がさらに改善され、下界を確立する研究が続けられている。