[論文レビュー] Multi-Center Federated Learning: Clients Clustering for Better Personalization

Guodong Long, Ming Xie+5 more|arXiv (Cornell University)|May 3, 2020

Privacy-Preserving Technologies in Data参考文献 51被引用数 32

ひとこと要約

複数中心の連邦学習フレームワーク（FeSEM）を提案。クライアントをクラスタリングし、非IIDデータの扱いを改善するために複数のグローバルモデルを学習する。Federated Stochastic Expectation Maximization 最適化を用いる。

ABSTRACT

Federated learning has received great attention for its capability to train a large-scale model in a decentralized manner without needing to access user data directly. It helps protect the users' private data from centralized collecting. Unlike distributed machine learning, federated learning aims to tackle non-IID data from heterogeneous sources in various real-world applications, such as those on smartphones. Existing federated learning approaches usually adopt a single global model to capture the shared knowledge of all users by aggregating their gradients, regardless of the discrepancy between their data distributions. However, due to the diverse nature of user behaviors, assigning users' gradients to different global models (i.e., centers) can better capture the heterogeneity of data distributions across users. Our paper proposes a novel multi-center aggregation mechanism for federated learning, which learns multiple global models from the non-IID user data and simultaneously derives the optimal matching between users and centers. We formulate the problem as a joint optimization that can be efficiently solved by a stochastic expectation maximization (EM) algorithm. Our experimental results on benchmark datasets show that our method outperforms several popular federated learning methods.

研究の動機と目的

• クライアント間のデータヘテロゲニティに対処することで、連邦学習における個別化を促進する。
• クライアントクラスタに対応する複数のグローバルモデルを学習するための多中心集約機構を提案する。
• 期待値最大化に触発された最適化アルゴリズム（FeSEM）を開発し、クラスタ割り当て、クラスタモデル、局所更新を協調最適化する。
• 標準的な連邦ベンチマークでベースラインFL手法に対する経験的な性能向上を示す。

提案手法

• K個の中心の周りに局所モデルをクラスタ化する距離ベースの正則化を含む、教師付き損失を最小化する複数中心の FL 目的を導入する。
• 問題を局所モデル、クラスタ割り当て、およびクラスタ中心モデルに対する結合最適化として定式化する（Eq. 5 および 6）。
• Federated Stochastic EM (FeSEM) によって解く：E-step はクラスタ割り当てを更新し、M-step はクラスタ中心を更新し、局所更新は近接的な正則化（Eq. 7–9）を用いて行う。
• 局所更新は対応するクラスタ中心から初期化し、クラスタ中心に整合させるよう距離ベースの正則化を用いて少数のトレーニングステップを行う。
• 集約時にニューロンマッチング（層ごとまたは関数ベース）を用いて、異種モデルをより適切に揃えるオプションを追加できる。
• Kの選択に関する実用的な考慮事項と、堅牢性とスケーラビリティを向上させる潜在的な拡張について議論する。

実験結果

リサーチクエスチョン

• RQ1 FL において複数のセンターにクライアントをクラスタリングすることは、単一のグローバルモデルより非IIDデータ分布をよりうまく捉えられるか？
• RQ2 FeSEM はクライアントを適切なクラスタに効果的に割り当て、ベンチマークデータセットで標準的な FL のベースラインより性能を向上させるか？
• RQ3 センター数 K が性能にどのように影響し、選択を導くヒューリスティックは何か？
• RQ4 ニューロンマッチングのような拡張機能はデータヘテロジェニー下で性能をさらに高めるか？
• RQ5 複数中心のFL設定における計算/通信効率と個別化のトレードオフは何か？

主な発見

• FeSEM はほとんどの構成で FEMNIST および FedCelebA ベンチマークにおいて、複数のベースラインより精度指標を一貫して改善する。
• クラスタ数 K を増やすと一般的に性能が向上し、非IIDデータ仮定を裏付ける。
• FeSEM(K) は、微視的・巨視的指標の両方で FedAvg や FedProx などの単一センター FL 手法を上回ることが多い。
• マクロ指標で顕著な改善を示し、表現が少ないまたは多様なクライアント分布での性能向上を示唆する。
• FeSEM-MA バリアント（一致平均）は報告された実験で FeSEM と同等またはわずかに劣ることがあり、初期化および平均化戦略が結果に影響を与えることを示唆する。