[論文レビュー] Asynchronous Federated Optimization

Cong Xie, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|Mar 10, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用数 442

ひとこと要約

本稿は FedAsync を提案する。これは局所正則化 SGD 更新と適応的混合を組み合わせ、特定の条件下でほぼ線形収束を達成し、古い更新を許容する非同期フェデレーション最適化アルゴリズムである。

ABSTRACT

Federated learning enables training on a massive number of edge devices. To improve flexibility and scalability, we propose a new asynchronous federated optimization algorithm. We prove that the proposed approach has near-linear convergence to a global optimum, for both strongly convex and a restricted family of non-convex problems. Empirical results show that the proposed algorithm converges quickly and tolerates staleness in various applications.

研究の動機と目的

• エッジデバイス向けに非同期学習を用いたフェデレーテッド学習の動機付けを行い、スケーラビリティと応答性を向上させる。
• 古い更新を許容する新しい非同期フェデレーテッド最適化アルゴリズムを提案する。
• 制限された非凸問題のクラスに対する収束保証を確立する。
• 適応的混合によって非同期性による誤差を制御する実践的戦略を開発する。
• 現実的な設定で同期的 FedAvg より実証的な利点を示す。

提案手法

• サーバーが混合パラメータ alpha を用いた重み付き平均によってグローバルモデルを更新する FedAsync を提案する。
• 各デバイスは拡張損失 f(x;z)+ (rho/2)||x - x_t||^2 を用いた正則化局所問題を SGD で解く。
• ノンブロッキング更新とタイムスタンプ付きの古いモデルを用いた、非同期のサーバー-ワーカー通信を許容する。
• 古さの影響を緩和するために適応的混合関数 alpha_t = alpha * s(tau difference) を導入する。
• 遅延と局所更新数に制限がある状態で、L-滑らか性と mu-弱凸性の仮定の下で収束解析を提供する。
• rho、gamma、および古さに対する収束が臨界点へ保証される条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 制限された遅延と異なる局所更新の下で、非凸目的関数に対して非同期フェデレーテッド最適化はグローバル解または臨界点へ収束できるか？
• RQ2 古さは収束にどのように影響するか、そして FedAsync において適応的混合はその影響を緩和できるか？
• RQ3 非 IID データ下で一般的なデータセットにおいて、FedAsync は同期的 FedAvg より実用的な性能向上を提供するか？
• RQ4 非同期フェデレート設定において、収束と安定性を保証するためにどのメカニズム（正則化、混合など）が十分か？

主な発見

• FedAsync は、指定された仮定の下で強凸性と制限された非凸問題の族に対してほぼ線形収束をグローバル最適解へ達成する。
• 適応的混合戦略は古さに対するロバスト性を向上させ、実験ではしばしば定数混合よりも優れている。
• 経験的な結果は、FedAsync が迅速に収束し、さまざまな古さを許容することを示し、時には同期 FedAvg を上回る。
• より大きな古さは収束を遅らせるが、適応的な alpha が使用されている場合は壊滅的にはならない。
• 提案されたアプローチは、混合のハイパーパラメータを介して収束速度と分散削減の間の調整可能なトレードオフを提供する。