[論文レビュー] The Convergence of Sparsified Gradient Methods

Dan Alistarh, Torsten Hoefler+4 more|arXiv (Cornell University)|Sep 27, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用数 13

ひとこと要約

本稿は、分散型SGDにおけるTopK勾配スパース化の最初の理論的収束保証を提供し、局所的な誤差補正を伴う大きさに基づくTopK勾配成分選択が、凸および非凸の滑らか関数に対しても収束を保証することを示している。この手法は、大きさに基づく選択によって更新の陳腐化を暗黙的に制限し、通信量を最大600倍まで削減しながらモデルの精度を維持できる。

ABSTRACT

Distributed training of massive machine learning models, in particular deep neural networks, via Stochastic Gradient Descent (SGD) is becoming commonplace. Several families of communication-reduction methods, such as quantization, large-batch methods, and gradient sparsification, have been proposed. To date, gradient sparsification methods - where each node sorts gradients by magnitude, and only communicates a subset of the components, accumulating the rest locally - are known to yield some of the largest practical gains. Such methods can reduce the amount of communication per step by up to three orders of magnitude, while preserving model accuracy. Yet, this family of methods currently has no theoretical justification. This is the question we address in this paper. We prove that, under analytic assumptions, sparsifying gradients by magnitude with local error correction provides convergence guarantees, for both convex and non-convex smooth objectives, for data-parallel SGD. The main insight is that sparsification methods implicitly maintain bounds on the maximum impact of stale updates, thanks to selection by magnitude. Our analysis and empirical validation also reveal that these methods do require analytical conditions to converge well, justifying existing heuristics.

研究の動機と目的

• 勾配スパース化手法の理論的裏付けを提供すること。これらは実践的に広く用いられているが、形式的な収束保証が欠けている。
• 凸および非凸の滑らか関数の下で、通信する勾配成分を上位K個に制限するTopK SGDの収束挙動を分析すること。
• スパース化手法が収束するための解析的条件を特定し、学習率の調整や勾配クリッピングといったヒューリスティクスの必要性を説明すること。
• TopK SGDと非同期SGDの関係を確立し、大きさに基づく選択が更新の陳腐化を暗黙的かつ大きさ依存的に制限することを示すこと。
• 現実的な勾配分布を想定したもとで、スパース化SGDの収束速度に対する非自明な上界を導出すること。

提案手法

• TopK SGDは、各ノードで現在のモデルパラメータに基づき勾配の絶対値が最大のK個の成分を選択し、それらの成分のみを通信する。
• 通信されない勾配成分は局所的に誤差ベクトルに蓄積され、次回の勾配計算の前に再結合される。
• 期待される最適値への進捗を制限するために、スーパーマルティングールドに基づく解析を用いる。ここには2次モーメント条件およびリプシッツ連続性条件が組み込まれる。
• 収束は、勾配分散の有界性および目的関数の滑らかさといった解析的仮定のもとで証明される。
• 解析により、TopK SGDは、更新の陳腐化が大きさに依存する暗黙的な上限を持つ非同期SGDの変種として動作することが示された。
• 全勾配とそのTopK成分とのノルム差の最悪ケースの上限を用いるが、実際の実験ではこれらの差がしばしば小さいことが示唆されている。

実験結果

リサーチクエスチョン

• RQ1 TopK選択による勾配スパース化は、分散型SGDに対して形式的な収束保証を提供するか？
• RQ2 特に非凸設定において、TopK SGDが収束するための解析的条件は何か？
• RQ3 収束速度および通信効率の観点から、TopK SGDは非同期SGDや量子化SGDとどのように比較できるか？
• RQ4 なぜ実践的なヒューリスティクス（例：勾配クリッピング、学習率の調整）がTopK手法の収束を改善するのか？
• RQ5 実験的勾配分布（例：正規分布や歪度のある分布）が、TopK SGDの理論的上限および実際の性能にどの程度影響を与えるか？

主な発見

• 標準的な解析的仮定（勾配分散の有界性、リプシッツ連続性）のもとで、TopK SGDは凸および非凸の滑らか関数に対して収束することが保証される。
• 最悪ケースにおいて、TopK SGDの収束速度はO(√n)の要因で制限され、K=√nの場合にQSGDのような確率的量子化手法と同等の遅延を示す。
• K = cn（c > 1/2）の場合、勾配分布が成分全体に均等に広がらない限り、標準SGDと同等の収束が達成される。
• 実験結果から、勾配ノルムが上位成分に集中していることが示され、最悪ケースのノルム差の上限が実際にはしばしば楽観的であることが示唆される。
• 大きさに基づく選択により、更新の陳腐化が暗黙的に制限されるため、このような制限がない非同期SGDよりも安定性が高くなる。
• 収束を保証するには、学習率の調整と勾配クリッピングが解析的に必要であることが示され、実践におけるこれらの手法の使用が正当化される。