[論文レビュー] Sharp Bounds for Federated Averaging (Local SGD) and Continuous Perspective

Margalit Glasgow, Honglin Yuan+1 more|arXiv (Cornell University)|Nov 5, 2021

Privacy-Preserving Technologies in Data参考文献 65被引用数 10

ひとこと要約

本稿は、均一および非均一設定の両方において、長年の上界と下界のギャップを解消する、Federated Averaging (FedAvg) の鋭い収束バウンドを確立する。『反復バイアス』という概念を導入し、Stochastic Differential Equation (SDE) の視点から分析することで、既存の上界が改善不可能であることを証明し、3階の滑らかさの仮定の下で、凸および非凸設定において、現在の最高水準の収束レートを導出する。

ABSTRACT

Federated Averaging (FedAvg), also known as Local SGD, is one of the most popular algorithms in Federated Learning (FL). Despite its simplicity and popularity, the convergence rate of FedAvg has thus far been undetermined. Even under the simplest assumptions (convex, smooth, homogeneous, and bounded covariance), the best-known upper and lower bounds do not match, and it is not clear whether the existing analysis captures the capacity of the algorithm. In this work, we first resolve this question by providing a lower bound for FedAvg that matches the existing upper bound, which shows the existing FedAvg upper bound analysis is not improvable. Additionally, we establish a lower bound in a heterogeneous setting that nearly matches the existing upper bound. While our lower bounds show the limitations of FedAvg, under an additional assumption of third-order smoothness, we prove more optimistic state-of-the-art convergence results in both convex and non-convex settings. Our analysis stems from a notion we call iterate bias, which is defined by the deviation of the expectation of the SGD trajectory from the noiseless gradient descent trajectory with the same initialization. We prove novel sharp bounds on this quantity, and show intuitively how to analyze this quantity from a Stochastic Differential Equation (SDE) perspective.

研究の動機と目的

• 均一および非均一設定におけるFedAvg収束の既存上界と下界のギャップを埋めること。
• 現在のFedAvgの理論的解析が、アルゴリズムの能力を完全に捉えているかどうかを特定すること。
• 反復バイアスに基づく、新たな理論枠組みを確立し、SGDの軌道が決定的勾配降下法の経路からどれほど逸れるかを分析すること。
• より強い滑らかさ仮定、特に3階の滑らかさの下で、改善された収束レートを導出すること。
• Stochastic Differential Equations (SDEs) を用いた連続時間的視点を提供し、FedAvgのダイナミクスをより良く理解すること。

提案手法

• 反復バイアスを、期待されるSGDの軌道がノイズのない勾配降下法の経路からどれほど逸れるかとして定義する。
• FedAvgアルゴリズムの進化をモデル化するため、連続時間のSDE近似を用いて反復バイアスを分析する。
• 均一および非均一設定の両方において、FedAvgの鋭い下界を導出し、既存の上界と一致させる。
• 3階の滑らかさの仮定の下で、新たな収束保証を確立し、先行研究を改善する。
• 非凸および凸設定の両方で、期待誤差を制御するためにモーメントバウンドとテレスコピング不等式を用いる。
• バイアス、分散、滑らかさの項をバランスさせるステップサイズ選択戦略を適用し、最適な収束レートを達成する。

実験結果

リサーチクエスチョン

• RQ1 均一設定におけるFedAvgの既存上界解析はタイトか、それ以上に改善可能か？
• RQ2 標準的仮定（凸、滑らか、分散有界）の下で、FedAvgの根本的収束限界は何か？
• RQ3 モデルの非均一性はFedAvgの収束レートにどのように影響するか？ また、既存の上界は下界によって再現可能か？
• RQ4 ノイズのない経路からの逸脱として定義される反復バイアスは、厳密にバウンド可能であり、収束解析の改善に利用可能か？
• RQ5 追加の滑らかさ仮定（例：3階）が与えられた場合、FedAvgはこれまでに知られていたものより良い収束レートを達成可能か？

主な発見

• 本稿は、均一設定におけるFedAvgの鋭い下界を確立し、最高水準の既存上界と一致させることで、既存の上界解析が改善不可能であることを証明した。
• 非均一設定では、現在の最高上界にほぼ一致する新たな下界が導出され、上界解析が（ほぼ）タイトであることが示された。
• 3階の滑らかさの仮定の下で、凸および非凸設定の両方において、現在の最高水準の収束レートが証明され、先行研究を上回った。
• 『反復バイアス』は形式的に定義され、バウンドされ、FedAvgのダイナミクスを分析する新たな理論的レンズを提供した。
• SDEに基づく連続時間的視点により、SGDの軌道の逸脱をより直感的かつ正確に分析でき、よりタイトなバウンドが得られた。
• 導出された収束レートには、$\frac{HD^2}{KR}$、$\frac{\sigma D}{\sqrt{MKR}}$、$\frac{H^{1/3}\sigma^{2/3}D^{4/3}}{K^{1/3}R^{2/3}}$ といった項が含まれており、それぞれの設定において最適であることが示された。