[論文レビュー] FedAC: An Adaptive Clustered Federated Learning Framework for Heterogeneous Data

Yuxin Zhang, Haoyu Chen+3 more|arXiv (Cornell University)|Mar 25, 2024

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

FedAC は、ニューラルネットワークをサブモジュールにデカップリングしてグローバル知識とクラスター内知識を融合させる適応型クラスタリング型フェデレーテッドラーニングフレームワークであり、オンラインクラスタリングの低ランクコサイン類似度を用い、非 IID データを扱うためクラスタ数を動的に調整します。

ABSTRACT

Clustered federated learning (CFL) is proposed to mitigate the performance deterioration stemming from data heterogeneity in federated learning (FL) by grouping similar clients for cluster-wise model training. However, current CFL methods struggle due to inadequate integration of global and intra-cluster knowledge and the absence of an efficient online model similarity metric, while treating the cluster count as a fixed hyperparameter limits flexibility and robustness. In this paper, we propose an adaptive CFL framework, named FedAC, which (1) efficiently integrates global knowledge into intra-cluster learning by decoupling neural networks and utilizing distinct aggregation methods for each submodule, significantly enhancing performance; (2) includes a costeffective online model similarity metric based on dimensionality reduction; (3) incorporates a cluster number fine-tuning module for improved adaptability and scalability in complex, heterogeneous environments. Extensive experiments show that FedAC achieves superior empirical performance, increasing the test accuracy by around 1.82% and 12.67% on CIFAR-10 and CIFAR-100 datasets, respectively, under different non-IID settings compared to SOTA methods.

研究の動機と目的

• フェデレーテッドラーニングにおけるデータの非均一性に対処するため、類似クライアントのクラスターを形成する。
• ニューラルネットワークのデカップリングを通じてグローバル知識をクラスター内学習へ統合可能にする。
• 動的クラスタリングのためのコスト効率の高いオンラインモデル類似度指標を提供する。
• トレーニング中にクラスタ数を動的に調整し、スケーラビリティと頑健性を向上させる。
• 非 IID CIFAR-10/100 データセットに対して SOTA 手法と比較して優れた性能を示す。

提案手法

• 埋め込み（phi）と決定（h）サブモジュールへニューラルネットワークをデカップリングし、異なるアグリゲーション戦略を適用する。
• グローバル埋め込み Phi とクラスター中心モデル Omega_k を用いて L_global および L_intra の項で局所更新を正則化する。
• 次元削減モデルに基づく低ランクコサイン類似度（LrCos）を導入し、オンラインモデル類似度を測定する。
• クライアント-to-クラスタ割り当ての E ステップとクラスタ中心更新の M ステップを含む EM様再クラスタリング機構を実装する。
• Dist_intra、Dist_inter に基づくクラスタ数調整モジュール（CNT）を用いて、トレーニング中にクラスタ数 K を動的に調整する。
• supervise loss、intra-cluster regularization、global regularization を交互最適化で組み合わせた bi-level objective を最適化する。

実験結果

リサーチクエスチョン

• RQ1 CFL においてグローバル知識をクラスター内学習へ効果的に統合するにはどうすればよいか。
• RQ2 コスト効率の高いオンライン類似度指標が過負荷を招くことなく動的クラスタリングを導くことができるか。
• RQ3 適応的なクラスタ数は異質なFL設定での性能と頑健性を改善するか。
• RQ4 FedAC の正規化項におけるクラスター内情報とグローバル情報のトレードオフはどうなるか。

主な発見

手法	CIFAR-10（alpha=0.1、n=3）	CIFAR-10（alpha=0.1、n=8）	CIFAR-100（alpha=0.1、n=3）	CIFAR-100（alpha=0.1、n=8）
FedAvg	64.75 ± 1.21	62.73 ± 0.42	35.36 ± 0.92	33.33 ± 0.42
FedPer	70.84 ± 1.44	79.36 ± 0.54	43.46 ± 1.27	62.10 ± 0.63
FeSEM	65.65 ± 1.28	76.46 ± 0.63	31.03 ± 0.80	52.15 ± 2.45
FedGroup	67.38 ± 1.34	76.77 ± 1.00	33.26 ± 1.01	57.02 ± 0.84
FL+HC	67.80 ± 0.84	80.22 ± 0.68	34.19 ± 1.33	57.99 ± 0.66
CGPFL	71.19 ± 0.93	79.42 ± 0.46	41.38 ± 0.69	60.26 ± 0.94
IFCA	73.06 ± 0.91	80.54 ± 0.74	38.61 ± 0.77	60.18 ± 0.76
FedAC	74.88 ± 0.65	81.29 ± 0.61	51.28 ± 0.35	64.53 ± 0.34

• FedAC は非 IID 設定下で CIFAR-10 および CIFAR-100 に対して SOTA 手法より高いテスト精度を達成（CIFAR-10 で 1.82%、CIFAR-100 で 12.67% の改善。