[论文解读] An Improved Algorithm for Clustered Federated Learning

Harshvardhan, Avishek Ghosh+1 more|arXiv (Cornell University)|Oct 20, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出SR-FCA，一种新型联邦聚类算法，消除了现有方法（如IFCA）中对聚类数量先验知识和良好初始化的依赖——这些是先前方法的关键局限。通过从单例聚类开始，并在每个聚类内使用鲁棒联邦学习迭代优化，SR-FCA在适当学习率选择下可实现任意小的聚类误差，展现出在非凸神经网络任务中的强收敛性与性能。

ABSTRACT

In this paper, we address the dichotomy between heterogeneous models and simultaneous training in Federated Learning (FL) via a clustering framework. We define a new clustering model for FL based on the (optimal) local models of the users: two users belong to the same cluster if their local models are close; otherwise they belong to different clusters. A standard algorithm for clustered FL is proposed in \cite{ghosh_efficient_2021}, called exttt{IFCA}, which requires \emph{suitable} initialization and the knowledge of hyper-parameters like the number of clusters (which is often quite difficult to obtain in practical applications) to converge. We propose an improved algorithm, \emph{Successive Refine Federated Clustering Algorithm} ( exttt{SR-FCA}), which removes such restrictive assumptions. exttt{SR-FCA} treats each user as a singleton cluster as an initialization, and then successively refine the cluster estimation via exploiting similar users belonging to the same cluster. In any intermediate step, exttt{SR-FCA} uses a robust federated learning algorithm within each cluster to exploit simultaneous training and to correct clustering errors. Furthermore, exttt{SR-FCA} does not require any \emph{good} initialization (warm start), both in theory and practice. We show that with proper choice of learning rate, exttt{SR-FCA} incurs arbitrarily small clustering error. Additionally, we validate the performance of our algorithm on standard FL datasets in non-convex problems like neural nets, and we show the benefits of exttt{SR-FCA} over baselines.

研究动机与目标

• 解决现有聚类联邦学习算法中对良好初始化和已知聚类数量的不切实际要求。
• 开发一种无需对聚类数量或初始化做先验假设即可自动估计聚类的方法。
• 确保在深度神经网络等非凸联邦学习设置下实现收敛与低聚类误差。
• 实现训练与聚类优化的同步进行，以提升异构联邦学习环境下的效率与准确性。

提出的方法

• 将每个客户端初始化为单例聚类，避免依赖热启动或聚类先验知识。
• 采用连续优化策略，基于本地模型之间的接近程度合并相似聚类。
• 在每次迭代中，对每个聚类内应用鲁棒联邦学习算法，以提升模型精度并纠正聚类错误。
• 利用损失函数的强凸性与光滑性特性，确保理论收敛性保障。
• 采用并集界与集中不等式，界定所有聚类中聚类误差的概率。
• 利用逐坐标Lipschitz条件与柯西-施瓦茨不等式，推导全局Lipschitz常数以支持收敛性分析。

实验结果

研究问题

• RQ1 联邦聚类算法是否能在无需已知聚类数量或良好初始化的情况下实现收敛？
• RQ2 在深度学习等非凸联邦学习设置中，如何最小化聚类误差？
• RQ3 结合聚类的迭代优化与聚类内联邦学习，能否提升聚类准确率与收敛性？
• RQ4 在最小假设下，聚类误差可提供哪些理论保证？
• RQ5 所提方法在聚类准确率与收敛速度方面与基线相比的实证表现如何？

主要发现

• SR-FCA在适当学习率选择下，即使缺乏聚类数量的先验知识，也能实现任意小的聚类误差。
• 该算法在最小假设下实现收敛，理论上与实证上均无需热启动或初始化。
• 理论分析表明，单个聚类的聚类误差概率被界定为 $ \frac{4d}{(1 + nc_{\min}\hat{L}D)^d} $，该值随数据量或聚类规模增大而减小。
• 对所有聚类使用并集界，总误差界为 $ \frac{mu''}{c_{\min}} $，当 $ c_{\min} $ 远离零时，该界保持较小。
• 在标准联邦学习数据集上的实证评估表明，SR-FCA在非凸设置（如神经网络）中优于基线方法。
• 该算法在本地模型接近但不完全相同的情况下仍保持鲁棒性与收敛性，真实反映了联邦学习中的异构性。