[論文レビュー] Personalized Federated Learning with Clustered Generalization

Xueyang Tang, Song Guo+1 more|arXiv (Cornell University)|Jun 24, 2021

Privacy-Preserving Technologies in Data参考文献 50被引用数 10

ひとこと要約

本稿では、多様なデータクラスタを捉え、パーソナライズドローカルモデルをガイドする複数のグローバルモデルを維持する、クラスタ化一般化パーソナライズドフェデレーテッドラーニング（CG-PFL）を提案する。PFLを二段階最適化問題として定式化することで、合成データおよび実世界のデータセットにおいて、最先端の手法を上回る性能を達成し、一般化とパーソナライズドのトレードオフを改善する。

ABSTRACT

We study the recent emerging personalized federated learning (PFL) that aims at dealing with the challenging problem of Non-I.I.D. data in the federated learning (FL) setting. The key difference between PFL and conventional FL lies in the training target, of which the personalized models in PFL usually pursue a trade-off between personalization (i.e., usually from local models) and generalization (i.e., usually from the global model) on trained models. Conventional FL methods can hardly meet this target because of their both well-developed global and local models. The prevalent PFL approaches usually maintain a global model to guide the training process of local models and transfer a proper degree of generalization to them. However, the sole global model can only provide one direction of generalization and may even transfer negative effects to some local models when rich statistical diversity exists across multiple local datasets. Based on our observation, most real or synthetic data distributions usually tend to be clustered to some degree, of which we argue different directions of generalization can facilitate the PFL. In this paper, we propose a novel concept called clustered generalization to handle the challenge of statistical heterogeneity in FL. Specifically, we maintain multiple global (generalized) models in the server to associate with the corresponding amount of local model clusters in clients, and further formulate the PFL as a bi-level optimization problem that can be solved efficiently and robustly. We also conduct detailed theoretical analysis and provide the convergence guarantee for the smooth non-convex objectives. Experimental results on both synthetic and real datasets show that our approach surpasses the state-of-the-art by a significant margin.

研究の動機と目的

• クライアント間で非IIDなデータ分布が生じる状況下における、パーソナライズドフェデレーテッドラーニング（PFL）における統計的非同一性の課題に対処すること。
• 従来のPFLで用いられる単一のグローバルモデルの限界を克服し、一部のクライアントに悪影響を及える一般化効果の負の伝播を防ぐこと。
• 複数のクラスタ固有のグローバルモデルが、多様なデータ分布をよりよく捉え、パーソナライズドを向上させることを検証すること。
• 複数のグローバルモデルとローカルクラスタをサポートする、強固で効率的な二段階最適化フレームワークの開発。
• 提案された二段階フレームワーク下での滑らかで凸でない目的関数に対する理論的収束保証の提供。

提案手法

• サーバーに、特定のローカルクライアントモデルクラスタに関連付けられた複数のグローバルモデルを導入する。
• クライアントは、そのローカルデータ分布の類似性に基づいてクラスタにグループ化される。
• 二段階最適化フレームワークを定式化する：上位段階で複数のグローバルモデルを最適化し、下位段階で各クラスタごとのローカルモデルを適応させる。
• グローバルモデルとローカルモデルの更新を交互に繰り返す効率的な逐次アルゴリズムにより最適化を実行する。
• クラスタに適応した一般化方向を活用することで、パーソナライズドを向上させつつ、多様なデータ分布にわたる耐性を維持する。
• 理論的分析により、滑らかで凸でない目的関数に対して、提案された二段階フレームワークの収束保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 クライアントのクラスタに一致する複数のグローバルモデルは、非IIDデータ下でのフェデレーテッドラーニングにおけるパーソナライズドを向上させることができるか？
• RQ2 クラスタ化一般化は、統計的非同一性を扱う際、単一グローバルモデルアプローチと比較してどのように異なるか？
• RQ3 提案された二段階最適化フレームワークの収束挙動は、凸でない設定下でどのように振る舞うか？
• RQ4 この手法は、多様な合成および実世界のデータ分布において、強固な性能を維持できるか？
• RQ5 クラスタベースの一般化は、従来のPFLで観察される負の伝搬効果を低減するか？

主な発見

• 提案されたCG-PFL手法は、合成データおよび実世界のデータセットにおいて、最先端のパーソナライズドフェデレーテッドラーニング手法を顕著に上回る性能を示す。
• クラスタ固有のグローバルモデルを複数用いることで、単一グローバルモデルベースラインと比較して、一般化とパーソナライズドのトレードオフが改善される。
• この手法は、クライアント間での高いデータ非同一性と統計的多様性が存在する状況でも、強固な性能を示す。
• 理論的分析により、滑らかで凸でない目的関数に対して、二段階最適化フレームワークの収束が保証される。
• 実験的結果から、クラスタに適応した一般化が負の伝搬を低減し、クライアント固有のモデル精度を向上させることを示している。
• 標準PFLベースラインと比較して、最小限の追加計算オーバーヘッドで、より優れた性能が達成されている。