[論文レビュー] Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques

Filip Hanzely, Boxin Zhao+1 more|arXiv (Cornell University)|Feb 18, 2021

Privacy-Preserving Technologies in Data被引用数 15

ひとこと要約

本稿は、多数の既存のパーソナライズドフェデレーテッドラーニング（FL）手法を包含する一般化された目的関数を定式化することにより、パーソナライズドフェデレーテッドラーニングのための統一的最適化フレームワークを提案する。LSGD-PFL、ACD-PFL、ASVRCD-PFLというユニバーサル最適化手法を導入し、強い凸問題において通信量と計算量の両面でミニマックス最適な複雑度を達成する。これらの手法は、タスク固有の設計を必要とせず、しばしばタスク固有のアルゴリズムを上回るか同等の性能を発揮する。

ABSTRACT

We investigate the optimization aspects of personalized Federated Learning (FL). We propose general optimizers that can be applied to numerous existing personalized FL objectives, specifically a tailored variant of Local SGD and variants of accelerated coordinate descent/accelerated SVRCD. By examining a general personalized objective capable of recovering many existing personalized FL objectives as special cases, we develop a comprehensive optimization theory applicable to a wide range of strongly convex personalized FL models in the literature. We showcase the practicality and/or optimality of our methods in terms of communication and local computation. Remarkably, our general optimization solvers and theory can recover the best-known communication and computation guarantees for addressing specific personalized FL objectives. Consequently, our proposed methods can serve as universal optimizers, rendering the design of task-specific optimizers unnecessary in many instances.

研究の動機と目的

• 文献に登場する多様なパーソナライズドFL目的関数を、一つの一般化された最適化問題に統一すること。
• タスク固有のチューニングを必要とせず、複数のパーソナライズドFL設定に適用可能なユニバーサル最適化手法を開発すること。
• パーソナライズドFLにおける通信量と局所計算量の両面で、鋭いミニマックス最適な収束保証を確立すること。
• 一般用途の最適化手法が、個々のFL目的関数に対して特化したアルゴリズムと同等またはそれ以上の性能を発揮できることを示すこと。

提案手法

• 局所損失 fₘ の適切な設計により、多くの既存のパーソナライズドFL手法を包含する一般化された目的関数 F(w, β) = (1/M)Σₘ fₘ(w, βₘ) を定式化する。
• 局所確率的勾配降下法（LSGD-PFL）、加速ブロック座標降下法（ACD-PFL）、加速確率的分散低減座標降下法（ASVRCD-PFL）の3つの一般用途最適化手法を提案する。
• 標準的な凸性および滑らかさの仮定を課す：F は μ-強い凸性を満たし、すべての m ∈ [M] に対して fₘ は (Lʷ, MLᵦ)-滑らかである。
• これらの仮定の下で通信量および計算量の複雑度の上限を導出し、それがミニマックス最適であることを示す。
• 収束の向上と過学習の防止を目的として、グローバルパラメータ w を M⁻¹ᐟ² でスケーリングする再パラメータ化を導入する。
• さまざまな緩和パラメータ Λ と再パラメータ化の組み合わせを用いて実験的にフレームワークを検証し、最適なハイパーパrameterを用いることで性能が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 文献に登場する多様なパーソナライズドFL目的関数を、1つの一般化された最適化フレームワークで統一可能か？
• RQ2 このフレームワークから導出されたユニバーサル最適化手法は、複数のパーソナライズドFL設定において通信量と計算量の両面でミニマックス最適な複雑度を達成するか？
• RQ3 グローバルパラメータ w の再パラメータ化は、パーソナライズドFLにおける収束性と一般化性能を向上させるか？
• RQ4 緩和パラメータ Λ を含む拡張された目的関数は、標準的な定式化よりも実験的に利点をもたらすか？
• RQ5 一般化されたフレームワークは、タスク固有のアルゴリズムの最良の既知の収束レートを再現または上回るか？

主な発見

• 提案された統一的目的関数 (1) は、局所損失 fₘ の適切な構築により、多数の既存するパーソナライズドFL手法を特殊ケースとして回復可能である。
• 一般最適化手法 LSGD-PFL、ACD-PFL、ASVRCD-PFL は、強い凸問題において通信量のミニマックス最適な複雑度 O(√(Lʷ/μ) log ε⁻¹) を達成する。
• テストされたすべてのパーソナライズドFL目的関数に対して、一般最適化手法は文献で知られている最良の収束レートを同等または上回る。
• M⁻¹ᐟ² による w の再パラメータ化は、一貫してテスト精度を向上させ、学習の安定性を高め、より良い一般化性能を示している。
• 実験結果から、緩和パラメータ Λ が中程度の値（例：10.0）である場合に、極端な値（例：Λ=100.0）よりも優れた性能を示すことが判明し、正則化の増加による利益が単調でないことが示唆された。
• このフレームワークにより、一般化された最適化が可能となり、多くの場合でタスク固有のアルゴリズム設計が不要となる。一般ソルバが最先端の性能を達成している。