[論文レビュー] Federated Optimization in Heterogeneous Networks

Li Tian, Anit Kumar Sahu+4 more|arXiv (Cornell University)|Dec 14, 2018

Privacy-Preserving Technologies in Data参考文献 44被引用数 451

ひとこと要約

FedProx は FedAvg を一般化し、フェデレーテッド学習におけるシステムヘテロと統計的ヘテロを両方扱えるよう proximal term を導入し、局所更新を変化させうる。収束保証と経験的に頑健な性能。

ABSTRACT

Federated Learning is a distributed learning paradigm with two key challenges that differentiate it from traditional distributed optimization: (1) significant variability in terms of the systems characteristics on each device in the network (systems heterogeneity), and (2) non-identically distributed data across the network (statistical heterogeneity). In this work, we introduce a framework, FedProx, to tackle heterogeneity in federated networks. FedProx can be viewed as a generalization and re-parametrization of FedAvg, the current state-of-the-art method for federated learning. While this re-parameterization makes only minor modifications to the method itself, these modifications have important ramifications both in theory and in practice. Theoretically, we provide convergence guarantees for our framework when learning over data from non-identical distributions (statistical heterogeneity), and while adhering to device-level systems constraints by allowing each participating device to perform a variable amount of work (systems heterogeneity). Practically, we demonstrate that FedProx allows for more robust convergence than FedAvg across a suite of realistic federated datasets. In particular, in highly heterogeneous settings, FedProx demonstrates significantly more stable and accurate convergence behavior relative to FedAvg---improving absolute test accuracy by 22% on average.

研究の動機と目的

• フェデレーテッド学習をシステムおよびデータのヘテロギニティの下で動機づける。
• FedAvg の一般化として proximal term を備えた FedProx を導入する。
• 非IIDデータと部分的なデバイス参加の下で収束保証を提供する。
• 異種設定での実用的な頑健性と精度の向上を示す。

提案手法

• デバイス間で可変の局所作業を許す FedAvg の一般化として FedProx を提示する。
• 局所サブ問題に proximal term を追加する： h_k(w; w^t) = F_k(w) + (μ/2)||w - w^t||^2。
• 異なる精度での局所解法をモデル化するために γ_k^t-不正確性 を導入・利用する。
• デバイス間の統計的ヘテロギニティを定量化するために B-local dissimilarity を定義する。
• 制限された不協和性と非IIDデータの下で収束保証を証明する。
• FedProx はストライキ耐性を低減し、安定性を改善する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド最適化におけるヘテロギニティ（システムとデータの両方）は収束にどのような影響を与えるか？
• RQ2 proximal term と局所作業の変動により、非IIDデータと部分デバイス参加の下で収束性を保証できるか？
• RQ3 ヘテロジニアスなデバイスを前提とした場合に FedProx で十分な降下を保証する理論条件は何か？
• RQ4 現実的なヘテロゲニティの下で FedProx は頑健性と精度の点で FedAvg と比べてどうか？

主な発見

• FedProx は高度にヘテロゲナイズされた設定での安定性と精度を改善し、テストの絶対精度が平均で 22% 増加。
• proximal term は局所更新の変動の影響を抑え、ヘテロギニティ下での収束を補助する。
• 境界付きの不同質性の下で非凸の局所目的関数に対する収束保証を提供。
• フレームワークは局所作業量の変動を許容しつつ、各ラウンドでの減少を保証。
• FedProx は FedAvg を一般化し、μ = 0 かつ一様 γ の場合には特殊ケースとして回復される。
• synthetic および real の連合データセットで、ストライヤーと統計的ヘテロゲニティへの頑健性を検証する。