[論文レビュー] Lower Bounds and Optimal Algorithms for Personalized Federated Learning

Filip Hanzely, Slavomír Hanzely+2 more|arXiv (Cornell University)|Oct 5, 2020

Privacy-Preserving Technologies in Data参考文献 55被引用数 64

ひとこと要約

この論文は個別化フェデレーテッド学習の定式化の下限を確立し、通信と局所計算において証明可能に最適なアルゴリズムをいくつか提示する。FedProxやFedAvg/Local SGDの加速版を含む。

ABSTRACT

In this work, we consider the optimization formulation of personalized federated learning recently introduced by Hanzely and Richtárik (2020) which was shown to give an alternative explanation to the workings of local { t SGD} methods. Our first contribution is establishing the first lower bounds for this formulation, for both the communication complexity and the local oracle complexity. Our second contribution is the design of several optimal methods matching these lower bounds in almost all regimes. These are the first provably optimal methods for personalized federated learning. Our optimal methods include an accelerated variant of { t FedProx}, and an accelerated variance-reduced version of { t FedAvg}/Local { t SGD}. We demonstrate the practical superiority of our methods through extensive numerical experiments.

研究の動機と目的

• 局所モデルが異なることを許容しつつ、類似性の非差異を罰する混合目的を用いることで、フェデレーテッド学習におけるパーソナライズを動機付ける。
• 個別化FLの定式化に対する通信と局所計算の複雑さの下限を確立する。
• さまざまなレジームでこれらの下限に一致する最適アルゴリズムを開発・分析する。

提案手法

• 混合FL目的関数 F(x) = f(x) + lambda ψ(x) を研究し、その性質を特徴付ける。
• 通信ラウンド数と局所近傍/勾配/近傍和オラクル呼び出しの下限を導く。
• 加速近傍勾配法(APGD) の変種、局所解法としてAGDやKatyushaを用いる不正確なIAPGD（Inexact APGD）およびAL2SGD+（加速L2SGD+）を含む最適アルゴリズムを提案・分析する。
• 局所解法が不正確でも最適な収束速度を維持できることを示す。
• regimes lambda と L における局所と通信の複雑さを比較し、最適性の条件を提供する。
• データセットとデータ分布を横断して、IAPGD＋Katyusha、AL2SGD+、およびL2SGD+を比較する実証的証拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 混合目的を用いた個別化フェデレーテッド学習における通信と局所計算の基本的な下限とは何か？
• RQ2 近接/勾配/和勾配などのさまざまなオラクルモデルの下で、これらの下限を達成するアルゴリズムを設計できるか？
• RQ3 最適速度はL（滑らかさ）、mu（強凸性）、およびlambda（パーソナライズ強度）にどう依存するか？
• RQ4 フェデレーテッドパーソナライズにおいて不正確な局所解法を使用することの実際的な性能影響は何か？

主な発見

• 論文は、 optimum のε近傍に到達するには、最小で O(sqrt(min{L, lambda}/mu) log(1/epsilon)) の通信ラウンドが必要であることを証明する。
• 局所近傍/勾配/和勾配オラクルの複雑さは、それぞれ対応する設定で少なくとも O(sqrt(min{L, lambda}/mu) log(1/epsilon)) または O(sqrt(L/mu) log(1/epsilon))。
• 複数のアルゴリズムが、APGDの変種や不正確なIAPGD with AGD or Katyushaを局所解法として用いた場合、さまざまなレジームでこれらの最適速度を達成し、さらに広範な条件下で最適な通信と局所勾配の複雑さを達成するAL2SGD+を含む。
• IAPGD + Katyusha は和勾配設定下で最適な通信とほぼ最適な局所勾配を提供するが、実際には追加の対数因子を生じる可能性がある。AL2SGD+ は普遍的に最適な通信と有利な局所勾配の複雑さを提供する。
• 結果は、個別化フェデレーテッド学習の最初の理論上証明可能な最適手法を確立し、異種データシナリオで局所手法を正当化する。