[論文レビュー] A Unified Theory of Decentralized SGD with Changing Topology and Local Updates

Anastasia Koloskova, Nicolas Loizou+3 more|arXiv (Cornell University)|Mar 23, 2020

Stochastic Gradient Optimization Techniques参考文献 92被引用数 49

ひとこと要約

本論文は、ローカル更新と時間変動かつランダムな gossip トポロジを用いた分散SGDの統一収束解析を提示し、IIDデータと異質データを補間する普遍的な速度を導出し、過パラメータ化場合には線形収束を回復する。

ABSTRACT

Decentralized stochastic optimization methods have gained a lot of attention recently, mainly because of their cheap per iteration cost, data locality, and their communication-efficiency. In this paper we introduce a unified convergence analysis that covers a large variety of decentralized SGD methods which so far have required different intuitions, have different applications, and which have been developed separately in various communities. Our algorithmic framework covers local SGD updates and synchronous and pairwise gossip updates on adaptive network topology. We derive universal convergence rates for smooth (convex and non-convex) problems and the rates interpolate between the heterogeneous (non-identically distributed data) and iid-data settings, recovering linear convergence rates in many special cases, for instance for over-parametrized models. Our proofs rely on weak assumptions (typically improving over prior work in several aspects) and recover (and improve) the best known complexity results for a host of important scenarios, such as for instance coorperative SGD and federated averaging (local SGD).

研究の動機と目的

• Gossipベースの分散SGDの統一フレームワークを構築し、ローカル更新と適応的ネットワークトポロジを包含する。
• 滑らかな凸/非凸目的関数の弱いノイズと異質性仮定の下で普遍的収束速度を導出。
• iidデータ設定と非iidデータ設定の間の速度の補間を示し、過パラメータ化領域で線形収束を回復する条件を特定。
• 強凸設定における収束速度の下界を提供し、速度の厳密性を示す。
• 理論結果を経験的に検証し、ノイズとデータ多様性が収束に与える影響を示す。

提案手法

• ローカル勾配更新の後にコンセンサス（gossip）平均化ステップを用いた分散SGDをモデル化。
• 時間変動分布から抽出された混合行列 W(t) を許容し、新しい期待コンセンサス速度 Assumption 4 を定義。
• τ連続ステップにわたる期待混合速度についての新しい仮定（Assumption 4）を導入し、 ||XWℓ,τ − X̄||F の期待値を上限化。
• 非凸・凸・強凸設定に対する収束を統一的に解析する（Theorem 2）。
• 下界 (Theorem 3) を確立し、強凸の場合には異質性項の必要性を示す。
• Local SGD、Cooperative SGD、周期的分散SGD等の特別なケースとの関連性を示す（Section 5）。

実験結果

リサーチクエスチョン

• RQ1 ローカル更新とトポロジの変化を持つ分散SGDを、統一フレームワークでどう解析できるか？
• RQ2 異質データと時変グossip トポロジーの下で、滑らかな凸・非凸問題の普遍的収束速度は？
• RQ3 過パラメータ化設定で分散型、非中央集権SGD法が線形収束を達成する条件は？
• RQ4 ノイズとデータの多様性は収束にどう影響し、速度は厳密か？
• RQ5 既存の分散SGD派生（例：Local SGD、周期的分散SGD）は提案フレームワークの特別なケースとして回復できるか？

主な発見

• このフレームワークは、ノイズとデータ多様性の弱い仮定の下で、非凸・凸・強凸目的の普遍的収束速度を与える。
• 速度は異質データ（非同一分布）とiidデータ設定の間を補間し、過パラメータ化シナリオで線形収束を回復する。
• 下界はデータ異質性の依存性が強凸で必要であることを示し、結果の厳密性を確認。
• 分析は時変・ランダムにサンプリングされた混合行列を扱い、各ステップの connectivity を必要とせず、累積的な混合特性（Assumption 4）のみを要求。
• この分析は Local SGD や他の分散スキームの既存解析を、より弱いまたはより一般的な仮定の下で特化・改善している。
• 経験的結果は理論的境界の厳密性を検証し、ノイズと多様性が収束に与える影響を示す。