[論文レビュー] Personalized Federated Learning under Mixture of Distributions

Yue Wu, Shuaicheng Zhang+6 more|arXiv (Cornell University)|May 1, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

この論文は、フェデレーテッド期待最大化（EM）アルゴリズムを用いてガウス・ミクスチャ・モデル（GMMs）で結合データ分布の非同一性をモデル化する、パーソナライズド・フェデレーテッド・ラーニング（FL）フレームワークであるFedGMMを提案する。これは勾配類似性の仮定を必要とせず、不確実性の定量化と新しいクライアントへの効率的な適応を可能にすることで、パーソナライズドFLおよび分布外（OOD）検出において優れた性能を達成する。

ABSTRACT

The recent trend towards Personalized Federated Learning (PFL) has garnered significant attention as it allows for the training of models that are tailored to each client while maintaining data privacy. However, current PFL techniques primarily focus on modeling the conditional distribution heterogeneity (i.e. concept shift), which can result in suboptimal performance when the distribution of input data across clients diverges (i.e. covariate shift). Additionally, these techniques often lack the ability to adapt to unseen data, further limiting their effectiveness in real-world scenarios. To address these limitations, we propose a novel approach, FedGMM, which utilizes Gaussian mixture models (GMM) to effectively fit the input data distributions across diverse clients. The model parameters are estimated by maximum likelihood estimation utilizing a federated Expectation-Maximization algorithm, which is solved in closed form and does not assume gradient similarity. Furthermore, FedGMM possesses an additional advantage of adapting to new clients with minimal overhead, and it also enables uncertainty quantification. Empirical evaluations on synthetic and benchmark datasets demonstrate the superior performance of our method in both PFL classification and novel sample detection.

研究の動機と目的

• 既存のパーソナライズド・フェデレーテッド・ラーニング（PFL）手法が条件付き分布非同一性（概念シフト）にのみ焦点を当て、周辺分布非同一性（共変量シフト）を無視するという限界を是正すること。
• 入力分布とラベル分布の両方が変化する状況において、クライアント間の結合分布非同一性を効果的にモデル化できるPFLフレームワークを開発すること。
• 実世界のフェデレーテッド環境における未確認のクライアントや新規サンプルの分布外（OOD）検出を可能にする、不確実性の定量化を統合すること。
• 再トレーニングのオーバーヘッドを最小限に抑えながら、新しいクライアントへの迅速な適応を可能にする、通信効率的かつスケーラブルな手法を設計すること。

提案手法

• FedGMMは、クライアント間の結合データ分布をガウス成分の混合としてモデル化し、入力（共変量）とラベル（概念）シフトの両方を捉える。
• フェデレーテッド期待最大化（EM）アルゴリズムを用いて、クライアント間の観測データの対数尤度を最大化する形で、GMMパラメータを分散的に推定する。
• EMアルゴリズムは勾配類似性の仮定を必要とせず、閉形式で解かれるため、安定的かつ効率的な収束が可能である。
• 学習済みGMMにおけるサンプルの確率を推定することで不確実性の定量化を実現し、OOD検出を可能にする。
• パーソナライズドモデルはGMM成分から導出され、各クライアントがローカルデータ分布に応じて成分を選択または組み合わせることが可能になる。
• グローバルGMM構造を再利用し、最小限のデータで成分重みをファインチューニングすることで、新しいクライアントへの迅速な適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド・ラーニングフレームワークは、共変量シフトと概念シフトの両方を含むクライアント間の結合分布非同一性を効果的にモデル化できるか？
• RQ2 パーソナライズド・フェデレーテッド・ラーニングに不確実性の定量化を統合することで、分布外のサンプルや新規クライアントを検出できるか？
• RQ3 GMMベースのアプローチは、条件付き分布シフトのみをモデル化する既存のPFL手法よりも優れたパーソナライズド性能を達成できるか？
• RQ4 提案手法は、最小限の再トレーニングおよび通信オーバーヘッドで、どの程度新しいクライアントに適応できるか？
• RQ5 FedGMMで用いられるフェデレーテッドEMアルゴリズムは、非IIDかつ多様なFL環境でも収束性と安定性を保証するか？

主な発見

• FedGMMは、3つのベンチマークフェデレーテッド・ラーニングデータセットおよび1つの合成データセットにおいて、最先端のPFLベースラインを顕著に上回るパーソナライズド精度を達成する。
• OOD検出においても優れた性能を示し、既存の不確実性を考慮したPFL手法よりも高いAUROCおよびAUPRCスコアを達成する。
• サンプルレベルでの効果的な不確実性定量化を実現し、新規または異常な入力を信頼性高く検出可能である。
• フェデレーテッドEMアルゴリズムは、強いデータ非同一性下でも安定的かつ効率的に収束し、勾配類似性の仮定を必要としない。
• グローバルGMM構造を再利用することで、新しいクライアントへの迅速な適応が可能となり、トレーニングコストと通信オーバーヘッドが削減される。
• 実験結果から、GMMによる結合分布非同一性のモデル化が、周辺分布が安定であると仮定する手法よりも、よりロバストでパーソナライズドなモデルをもたらすことが示された。