[論文レビュー] From Local SGD to Local Fixed-Point Methods for Federated Learning

Grigory Malinovsky, Dmitry Kovalev+3 more|arXiv (Cornell University)|Apr 3, 2020

Stochastic Gradient Optimization Techniques参考文献 18被引用数 10

ひとこと要約

本稿では、Local SGDをより広範な固定点問題へ一般化することで、通信効率の高い固定点アルゴリズムを2つ提案する。局所的ステップと確率的通信戦略を導入し、緩い条件下でも線形収束を証明。理論的境界により、標準的なLocal SGDに比べ通信効率が向上することを示す。

ABSTRACT

Most algorithms for solving optimization problems or finding saddle points of convex-concave functions are fixed-point algorithms. In this work we consider the generic problem of finding a fixed point of an average of operators, or an approximation thereof, in a distributed setting. Our work is motivated by the needs of federated learning. In this context, each local operator models the computations done locally on a mobile device. We investigate two strategies to achieve such a consensus: one based on a fixed number of local steps, and the other based on randomized computations. In both cases, the goal is to limit communication of the locally-computed variables, which is often the bottleneck in distributed frameworks. We perform convergence analysis of both methods and conduct a number of experiments highlighting the benefits of our approach.

研究の動機と目的

• フェデレーテッドラーニングにおける通信ボトルneckを解消するため、Local SGDを固定点最適化へ一般化する。
• M台のデバイスにおける平均作用素の固定点を求める形で分散計算をモデル化する。
• 通信を削減する2つの戦略を開発する：局所的ステップ（決定的）と確率的通信（確率的）。
• 標準的な仮定（リプシッツ連続性、平均作用素の性質など）の下で、両手法の収束解析を提供する。
• 通信頻度と問題の条件数に明示的な依存関係を持つ線形収束レートを確立する。

提案手法

• 各デバイスiにおける局所的計算をモデル化する作用素T_i(x)を用い、平均作用素T(x) = (1/M)ΣT_i(x)の固定点を求める問題として定式化する。
• 局所的ステップ法を提案：サーバーとの同期前に、各デバイスがk回の局所的反復をT_iの作用素に対して実行する。
• 確率的通信法を導入：確率p ∈ (0,1)でデバイスが通信し、それ以外の場合は局所更新を行う。
• 誤差と局所勾配の分散を同時に追跡するためのリャプノフ関数Ψ^k = ||x^k - x*||² + (5λ/p)V_kを用いて収束を分析する。ここでV_kは局所勾配の分散を表す。
• 期待値における収縮を確立：E[Ψ^{k+1}] ≤ (1 - μ)Ψ^k + Cλ³σ²/p²、ただしμ = min(λρ/(1+ρ), p/5)。
• 収束レートT = O(log(1/ε))を導出。ε, σ, ρ, p, λに明示的な依存関係を示し、通信効率の向上を示す。

実験結果

リサーチクエスチョン

• RQ1 Local SGDは、フェデレーテッドラーニングにおける勾配降下法を越えて、より広範な固定点問題へ一般化可能か？
• RQ2 局所的固定点手法の収束は、局所ステップ数と通信確率にどのように依存するか？
• RQ3 固定点最適化における確率的通信戦略の理論的収束レートは何か？
• RQ4 誤差と分散の両方を含むリャプノフ関数は、標準的な目的関数に比べてよりタイトな収束境界をもたらすか？
• RQ5 通信頻度は、分散固定点手法における計算と収束のトレードオフにどのように影響するか？

主な発見

• 提案された局所的ステップ法は、条件数ρとステップサイズλに依存する線形収束レートを達成する。
• 確率的通信法は確率pで収束を保証し、期待誤差はTに比例して線形に減少する。
• 収束レートはε, σ, ρ, p, λに明示的な依存関係を持つO(log(1/ε))であり、通信効率の向上を示す。
• T ≥ max{15(1+ρ)/(ρp), 18σ(1+ρ)^{1/3}/(pρ^{3/2}ε^{1/2}), 40σ^{2/3}(1+ρ)/(pρε^{1/3})} log(2Ψ₀/ε)という境界により、精度と通信のトレードオフが明確に定量化される。
• 適切なパrameter選択のもとで、収束レートに影響を与えることなく、通信回数をO(1/p)の要因で削減可能であることが分析で示された。
• ε-精度に到達するための反復回数Tは1/εの対数スケールに比例し、線形収束が確認された。