[论文解读] FedAC: An Adaptive Clustered Federated Learning Framework for Heterogeneous Data

Yuxin Zhang, Haoyu Chen+3 more|arXiv (Cornell University)|Mar 25, 2024

Privacy-Preserving Technologies in Data被引用 5

一句话总结

FedAC 是一个自适应簇联邦学习框架，将神经网络解耦为子模块以融合全局和簇内知识，使用低秩余弦相似度进行在线聚类，并动态调整簇的数量以处理非IID数据。

ABSTRACT

Clustered federated learning (CFL) is proposed to mitigate the performance deterioration stemming from data heterogeneity in federated learning (FL) by grouping similar clients for cluster-wise model training. However, current CFL methods struggle due to inadequate integration of global and intra-cluster knowledge and the absence of an efficient online model similarity metric, while treating the cluster count as a fixed hyperparameter limits flexibility and robustness. In this paper, we propose an adaptive CFL framework, named FedAC, which (1) efficiently integrates global knowledge into intra-cluster learning by decoupling neural networks and utilizing distinct aggregation methods for each submodule, significantly enhancing performance; (2) includes a costeffective online model similarity metric based on dimensionality reduction; (3) incorporates a cluster number fine-tuning module for improved adaptability and scalability in complex, heterogeneous environments. Extensive experiments show that FedAC achieves superior empirical performance, increasing the test accuracy by around 1.82% and 12.67% on CIFAR-10 and CIFAR-100 datasets, respectively, under different non-IID settings compared to SOTA methods.

研究动机与目标

• 通过在联邦学习中形成相似客户端的簇来解决数据异质性。
• 通过神经网络解耦实现全局知识向簇内学习的整合。
• 提供一种成本高效的在线模型相似性度量，用于动态聚类。
• 在训练过程中动态调整簇的数量，以获得更好的可扩展性和鲁棒性。
• 在非IID 的 CIFAR-10/100 数据集上展示优于SOTA方法的性能。

提出的方法

• 将神经网络解耦为嵌入子模块(phi)和决策子模块(h)，并应用不同的聚合策略。
• 使用全局嵌入 Phi 和簇中心模型 Omega_k，通过 L_global 和 L_intra 项对本地更新进行正则化。
• 引入基于降维模型的低秩余弦相似度（LrCos）来衡量在线模型相似性。
• 实现类似 EM 的重新聚类机制，E 步用于客户端到簇的分配，M 步用于更新簇中心。
• 通过基于簇内/簇间距离 Dist_intra, Dist_inter 的簇数调整(CNT)模块动态调整簇数量 K。
• 优化一个二层目标，结合监督损失、簇内正则化和全局正则化，通过交替最小化实现。

实验结果

研究问题

• RQ1 如何在 CFL 中有效地将全局知识整合到簇内学习？
• RQ2 是否存在一个成本高效的在线相似性度量来引导动态聚类，而不产生过高开销？
• RQ3 自适应簇数量是否能在异质FL设置中提升性能和鲁棒性？
• RQ4 FedAC 的正则化项中，簇内信息与全局信息之间的权衡是什么？

主要发现

方法	CIFAR-10 (alpha=0.1, n=3)	CIFAR-10 (alpha=0.1, n=8)	CIFAR-100 (alpha=0.1, n=3)	CIFAR-100 (alpha=0.1, n=8)
FedAvg	64.75 ± 1.21	62.73 ± 0.42	35.36 ± 0.92	33.33 ± 0.42
FedPer	70.84 ± 1.44	79.36 ± 0.54	43.46 ± 1.27	62.10 ± 0.63
FeSEM	65.65 ± 1.28	76.46 ± 0.63	31.03 ± 0.80	52.15 ± 2.45
FedGroup	67.38 ± 1.34	76.77 ± 1.00	33.26 ± 1.01	57.02 ± 0.84
FL+HC	67.80 ± 0.84	80.22 ± 0.68	34.19 ± 1.33	57.99 ± 0.66
CGPFL	71.19 ± 0.93	79.42 ± 0.46	41.38 ± 0.69	60.26 ± 0.94
IFCA	73.06 ± 0.91	80.54 ± 0.74	38.61 ± 0.77	60.18 ± 0.76
FedAC	74.88 ± 0.65	81.29 ± 0.61	51.28 ± 0.35	64.53 ± 0.34

• FedAC 在非IID设置下在 CIFAR-10 和 CIFAR-100 上的测试准确率高于 SOTA 方法（CIFAR-10 提升 1.82%，CIFAR-100 提升 12.67%）。
• 将嵌入子模块与决策子模块解耦，并采用不同聚合策略，提升全局与簇内知识的整合。
• 低秩余弦相似度（LrCos）与数据分布相似性对齐良好，且通过降维降低计算。
• CNT 模块在训练中有效地调整簇数量，提升对初始化和固定 K 设置的鲁棒性。
• 消融研究显示全局和簇内正则化在 FedAC 的最佳性能中都是必要的。