[論文レビュー] Fed+: A Unified Approach to Robust Personalized Federated Learning

P. L. Yu, Achintya Kundu+2 more|arXiv (Cornell University)|Sep 14, 2020

Privacy-Preserving Technologies in Data参考文献 24被引用数 8

ひとこと要約

Fed+ は、クライアント間でのデータ独立性や同一分布の仮定をせず、ロバストな統計的手法を用いてモデルアグリゲーションを向上させる、耐障害性のあるパーソナライズドフェデレーテッドラーニングの統合フレームワークです。非均質なデータおよび計算環境下でも収束を保証し、ファイナンシャルポートフォリオマネジメントなどの現実世界のシナリオにおいて、標準的なフェデレーテッドラーニングを上回ります。

ABSTRACT

We present a class of methods for robust, personalized federated learning, called Fed+, that unifies many federated learning algorithms. The principal advantage of this class of methods is to better accommodate the real-world characteristics found in federated training, such as the lack of IID data across parties, the need for robustness to outliers or stragglers, and the requirement to perform well on party-specific datasets. We achieve this through a problem formulation that allows the central server to employ robust ways of aggregating the local models while keeping the structure of local computation intact. Without making any statistical assumption on the degree of heterogeneity of local data across parties, we provide convergence guarantees for Fed+ for convex and non-convex loss functions and robust aggregation. The Fed+ theory is also equipped to handle heterogeneous computing environments including stragglers without additional assumptions; specifically, the convergence results cover the general setting where the number of local update steps across parties can vary. We demonstrate the benefits of Fed+ through extensive experiments across standard benchmark datasets as well as on a challenging real-world problem in financial portfolio management where the heterogeneity of party-level data can lead to training failure in standard federated learning approaches.

研究の動機と目的

• クライアント間での非IIDデータおよび外れ値の処理における標準的フェデレーテッドラーニングの限界を解消すること。
• ローカル計算構造を維持しつつ、ロバストなグローバルアグリゲーションを可能にする統合フレームワークの開発。
• 非均質なデータおよび変動するローカル更新ステップ数の下で、凸および非凸損失関数に対する理論的収束保証の提供。
• 追加の仮定なしに、ストラグルラーを含む非均質な計算環境をサポートすること。
• 標準的なフェデレーテッドラーニングが失敗する現実世界の応用、例えばファイナンシャルポートフォリオマネジメントにおいての有効性の実証。

提案手法

• Fed+ は、ローカルモデル更新とロバストなグローバルアグリゲーションを分離する統合的問題定式化を導入。
• 外れ値やストラグルラーの影響を軽減するために、ローカルモデル更新に対してロバストアグリゲーション技術（例：トリムドミーンや中央値ベース手法）を採用。
• フレームワークはローカル学習構造を保持しており、各クライアントが変更なしに標準的なローカル最適化を実行可能。
• 凸および非凸の目的関数に対して、一般設定（変動するローカル更新ステップ数を含む）下で理論的収束が保証される。
• データ非均質性に関する統計的仮定を必要としないため、多様なフェデレーテッド環境に広く適用可能。

実験結果

リサーチクエスチョン

• RQ1 クライアント間でIIDデータを仮定せず、非均質なデータおよび外れ値に対して耐性を持つ統合的フェデレーテッドラーニングフレームワークは実現可能か？
• RQ2 ローカル計算パターンを維持しつつ、フェデレーテッドラーニングにロバストアグリゲーションを統合する方法は何か？
• RQ3 非IIDデータおよび変動するローカル更新回数の下で、Fed+ に対してどのような理論的収束保証を確立できるか？
• RQ4 極端なデータ非均質性が生じる現実世界の応用（例：ファイナンシャルポートフォリオマネジメント）において、Fed+ は性能を維持できるか？
• RQ5 ストラグルラー状態下で、Fed+ は標準的なフェデレーテッドラーニングと比較して収束性および耐障害性に優れているか？

主な発見

• Fed+ は、クライアント間でのデータ独立性や同一分布の仮定なしに、凸および非凸損失関数の収束を達成。
• 追加の仮定なしに、非均質な計算環境下でも外れ値およびストラグルラーに対してロバスト性を維持。
• ベンチマークデータセットにおいて、特に高いデータ非均質性下で、標準的なフェデレーテッドラーニングを上回る性能を示した。
• ファイナンシャルポートフォリオマネジメントのシナリオでは、極端なデータ分散により標準的なフェデレーテッドラーニングが失敗する状況でも、Fed+ は正常にモデル学習を実行。
• 変動するローカル更新ステップ数の下でも、安定的かつ信頼性の高い性能を示し、実世界の展開環境におけるロバスト性を裏付けた。