[論文レビュー] On the Convergence of Federated Optimization in Heterogeneous Networks.

Anit Kumar Sahu, Tian Li+4 more|arXiv (Cornell University)|Dec 14, 2018

Privacy-Preserving Technologies in Data被引用数 230

ひとこと要約

この論文は、統計的およびシステム的非同一性に対処できるように FedAvg を再パrameter化することで、非同一性の高いネットワークにおける収束安定性を向上させる新しいフェデレーテッド最適化フレームワーク、FedProx を提案する。非同一性が著しく高く、システム的にも非同一な環境下で、FedAvg よりも平均して 22% 高いテスト精度を達成しており、現実的な条件下で理論的な収束保証を有する。

ABSTRACT

Federated Learning is a distributed learning paradigm with two key challenges that differentiate it from traditional distributed optimization: (1) significant variability in terms of the systems characteristics on each device in the network (systems heterogeneity), and (2) non-identically distributed data across the network (statistical heterogeneity). In this work, we introduce a framework, FedProx, to tackle heterogeneity in federated networks. FedProx can be viewed as a generalization and re-parametrization of FedAvg, the current state-of-the-art method for federated learning. While this re-parameterization makes only minor modifications to the method itself, these modifications have important ramifications both in theory and in practice. Theoretically, we provide convergence guarantees for our framework when learning over data from non-identical distributions (statistical heterogeneity), and while adhering to device-level systems constraints by allowing each participating device to perform a variable amount of work (systems heterogeneity). Practically, we demonstrate that FedProx allows for more robust convergence than FedAvg across a suite of realistic federated datasets. In particular, in highly heterogeneous settings, FedProx demonstrates significantly more stable and accurate convergence behavior relative to FedAvg---improving absolute test accuracy by 22% on average.

研究の動機と目的

• デバイス間のデータ分布が非同一であるという統計的非同一性の課題に対処する。
• 計算能力や通信制約がデバイスごとに異なるというシステム的非同一性に対処する。
• 両方の非同一性下でのフェデレーテッド最適化に対する理論的収束保証を提供する。
• 現実的で非同一性が高く、リソース制約のある環境下でも、フェデレーテッドラーニングモデルのロバスト性と精度を向上させる。

提案手法

• ローカル目的関数にプロキシ項を導入することで FedAvg を再定式化し、非同一なデータ分布下での収束を改善する。
• 各デバイスがそのシステム制約に応じて可変な量のローカル作業を実行できるようにする。これにより、システム的非同一性に対応する。
• グローバルモデルへの近接度を制御するハイパーパrameterを導入し、ローカル最適化とグローバル一貫性のバランスを取る。
• データ適合性とグローバルモデルからの距離を含む正則化損失関数として、ローカル最適化問題を定式化する。
• 理論的分析により、非同一なデータ分布および可変なローカル計算下で、定常点への収束が保証されることを示す。
• FedAvg と後方互換性を保ちつつ、非同一な環境下でのパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 非同一なデータ分布（統計的非同一性）下でも、修正されたフェデレーテッド最適化フレームワークは収束を達成できるか？
• RQ2 計算能力が異なる（システム的非同一性）デバイスが、異なる回数のローカル更新を実行する場合、このフレームワークはどのように動作するか？
• RQ3 現実のフェデレーテッドラーニングシナリオにおいて、FedAvg と比較して、この手法は収束安定性とテスト精度を向上させるか？
• RQ4 統計的非同一性およびシステム的非同一性の両方下でのフレームワークの理論的収束挙動はいかなるものか？
• RQ5 データが極めて非同一であり、デバイスの計算能力が多様な状況下でも、フレームワークは高いモデル精度を維持できるか？

主な発見

• FedProx は、統計的非同一性およびシステム的非同一性の両方下で、フェデレーテッド最適化の理論的収束保証を達成する。
• フレームワークは、極めて非同一な環境下で、FedAvg よりもはるかに安定的かつ正確な収束を示す。
• 平均して、FedProx は、現実のフェデレーテッドデータセットのスイート全体において、FedAvg よりも絶対的テスト精度を 22% 向上させる。
• プロキシ正則化項は、データおよびシステムの非同一性によって引き起こされる発散を効果的に緩和する。
• この手法は、多様なデータ分布およびデバイスの計算レベルにおいて、強固なパフォーマンスを維持する。
• 実験的結果により、FedProx が非同一性が高く、システム的にも非同一な環境下で、収束速度および最終的なモデル精度の両面で FedAvg を上回ることが確認された。