[論文レビュー] A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates

Yann Fraboni, Yu. Vertogradova+2 more|arXiv (Cornell University)|Jun 21, 2022

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

本論文は、非同期フェデレーテッド最適化におけるクライアントの非均質性を考慮した一般化理論枠組みを提案し、遅延を確率的集約重みとしてモデル化することで、グローバル最適解への収束を保証する。また、固定時間窓内で更新を集約することで非同期学習の安定性を高める、新規の手法FedFixを導入し、同期型および標準非同期型FedAvgよりも安定性と収束速度で優れる。

ABSTRACT

We propose a novel framework to study asynchronous federated learning optimization with delays in gradient updates. Our theoretical framework extends the standard FedAvg aggregation scheme by introducing stochastic aggregation weights to represent the variability of the clients update time, due for example to heterogeneous hardware capabilities. Our formalism applies to the general federated setting where clients have heterogeneous datasets and perform at least one step of stochastic gradient descent (SGD). We demonstrate convergence for such a scheme and provide sufficient conditions for the related minimum to be the optimum of the federated problem. We show that our general framework applies to existing optimization schemes including centralized learning, FedAvg, asynchronous FedAvg, and FedBuff. The theory here provided allows drawing meaningful guidelines for designing a federated learning experiment in heterogeneous conditions. In particular, we develop in this work FedFix, a novel extension of FedAvg enabling efficient asynchronous federated training while preserving the convergence stability of synchronous aggregation. We empirically demonstrate our theory on a series of experiments showing that asynchronous FedAvg leads to fast convergence at the expense of stability, and we finally demonstrate the improvements of FedFix over synchronous and asynchronous FedAvg.

研究の動機と目的

• クライアントの非均質性と変動する更新遅延による非同期フェデレーテッドラーニングにおける不安定性と収束問題を解決すること。
• FedAvgを一般化し、非同期、非i.i.d.、非均質クライアント環境への収束保証を拡張する統一理論的モデルの構築。
• データ非均質性に依存しない非同期更新における真のグローバル最適解への収束を保証する十分条件の提供。
• 収束安定性を維持しながら学習速度を向上させる、耐障害性の高い非同期FLスキームであるFedFixの設計と検証。
• FedFixが非均質環境下で同期型および非同期型FedAvgを上回ることを実証的に示すこと。

提案手法

• クライアントの計算時間と能力に依存する確率的集約重みを用いた、確率的集約フレームワークの導入。
• 非同期更新下での一般フェデレーテッド最適化問題に対する収束バウンドの導出。集約重みと学習率に関する条件を含む。
• クライアントの計算時間推定値と有界勾配に依存する、グローバル最適解への収束のための十分条件の確立。
• 固定時間間隔内に収集されたすべてのクライアント更新を集約してグローバルモデルを更新する、時間窓型集約戦略であるFedFixの提案。
• 理論的分析により、FedFixが非同期性に対しても収束安定性を維持でき、標準非同期FedAvgよりもタイトなバウンドを達成することを示す。
• CIFAR-10およびShakespeareデータセットを用いた実験により、現実的な遅延シナリオ下での理論の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 クライアントの非均質性と変動する更新遅延を考慮した非同期フェデレーテッドラーニングを分析する一般化理論枠組みを構築可能か？
• RQ2 データ非均質性に依存しない非同期フェデレーテッド最適化におけるグローバル最適解への収束を保証する条件は何か？
• RQ3 同期的調整を必要とせずに、非同期フェデレーテッドラーニングを安定的かつ効率的に実行するにはどうすればよいか？
• RQ4 FedFixは同期型および非同期型FedAvgに比べて、収束安定性と速度をどの程度向上させるか？
• RQ5 提案された枠組み下で、損失やリソースに基づくバイアス付きクライアントサンプリング戦略を理論的に整合性を持たせ、収束可能にする方法はあるか？

主な発見

• FedFixは、待機時間を排除することで同期型FedAvgよりも高速に収束し、時間窓型集約により収束安定性を維持する。
• 理論的分析により、クライアントの計算時間と学習率にやや厳しい条件が課せられるが、FedFixはグローバル最適解へ収束することが示された。
• CIFAR-10およびShakespeareデータセットにおける実験により、非同期FedAvgは速やかに収束するが不安定であるのに対し、FedFixは一貫した性能向上を示した。
• この枠組みは、FedAvg、非同期FedAvg、FedBuffを一般化し、それらの分析を一つの理論的枠組みで統合した。
• 損失やリソースに基づくバイアス付きサンプリングを、時間窓内でのアンバイアスドサンプリングと組み合わせることで、収束性を保証できることが、収束バウンドで形式化された。
• FedFixの収束誤差バウンドは、特に高非均質性環境下で、標準非同期FedAvgよりもタイトであることが分かった。