[论文解读] FedCBO: Reaching Group Consensus in Clustered Federated Learning through Consensus-based Optimization

José A. Carrillo, Nicolás García Trillos+2 more|arXiv (Cornell University)|May 4, 2023

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文提出 FedCBO，一种用于聚类联邦学习的基于共识的优化框架，可在无需显式聚类知识的情况下实现组内模型收敛。通过将用户建模为通过平均场动力学自组织向聚类特定极小值点靠拢的相互作用粒子，FedCBO 在非独立同分布（non-i.i.i.d.）联邦学习设置下性能优于当前最先进方法，并在大群体极限下具备理论收敛保证。

ABSTRACT

Federated learning is an important framework in modern machine learning that seeks to integrate the training of learning models from multiple users, each user having their own local data set, in a way that is sensitive to data privacy and to communication loss constraints. In clustered federated learning, one assumes an additional unknown group structure among users, and the goal is to train models that are useful for each group, rather than simply training a single global model for all users. In this paper, we propose a novel solution to the problem of clustered federated learning that is inspired by ideas in consensus-based optimization (CBO). Our new CBO-type method is based on a system of interacting particles that is oblivious to group memberships. Our model is motivated by rigorous mathematical reasoning, including a mean field analysis describing the large number of particles limit of our particle system, as well as convergence guarantees for the simultaneous global optimization of general non-convex objective functions (corresponding to the loss functions of each cluster of users) in the mean-field regime. Experimental results demonstrate the efficacy of our FedCBO algorithm compared to other state-of-the-art methods and help validate our methodological and theoretical work.

研究动机与目标

• 为解决在用户属于未知、非重叠聚类且数据分布异质的联邦学习中训练个性化模型的挑战。
• 开发一种方法，实现在无需聚类身份信息的情况下，对不同聚类对应的多个非凸损失函数进行同步优化。
• 利用平均场分析和大粒子极限下的收敛保证，为所提方法建立严格的数学基础。
• 设计一种实用算法——FedCBO——利用粒子动力学实现在聚类内部的共识，同时最小化通信开销并保护数据隐私。

提出的方法

• 提出一种类似 CBO 的相互作用粒子系统，其中每个粒子代表一个用户的模型参数，通过驱动粒子向聚类内达成共识的随机动力学演化。
• 引入粒子系统的平均场极限，表明当用户数量增加时，粒子的经验测度弱收敛于由福克-普朗克型偏微分方程控制的确定性解。
• 采用一种共识机制，使粒子被吸引至其聚类损失梯度的经验均值以及当前全局极小值估计，而无需显式聚类标签。
• 在算法中采用加权平均聚合规则（公式 19），增强鲁棒性并实现向聚类特定极小值的收敛。
• 分析平均场系统的时变演化，证明每个聚类中的粒子会收敛至对应聚类损失函数的全局极小值。
• 利用弱收敛和斯科罗霍德定理，建立粒子系统向平均场极限收敛的理论，证明经验测度以几乎必然方式收敛至极限测度的狄拉克测度。

实验结果

研究问题

• RQ1 基于共识的优化框架是否能有效在联邦学习中学习多个聚类特定模型，而无需事先知晓用户组成员身份？
• RQ2 所提粒子系统的平均场极限行为如何？是否能确保收敛至每个聚类损失函数的全局极小值？
• RQ3 有限粒子系统的理论收敛行为如何？其与平均场近似的关系是什么？
• RQ4 在非独立同分布联邦学习设置下，FedCBO 算法在性能和鲁棒性方面与当前最先进方法相比如何？
• RQ5 粒子动力学机制是否因其中的平均与共识机制而具备对对抗性攻击的内在鲁棒性？

主要发现

• FedCBO 算法在聚类联邦学习中优于现有最先进方法，尤其在具有未知组结构的非独立同分布数据设置下表现更优。
• 理论分析证实，当用户数量趋于无穷时，粒子系统依分布收敛至确定性的平均场极限。
• 平均场动力学促使每个聚类内的粒子向该聚类损失函数的全局极小值达成共识，即使没有显式聚类信息亦可实现。
• 建立了粒子经验测度向平均场解收敛的概率性结果，收敛速率由时间上的列维-普罗霍罗夫度量控制。
• 该方法对数据异质性具有鲁棒性，并支持按聚类进行个性化模型训练，在非独立同分布场景下性能优于全局模型训练。
• 理论结果表明，由于加权平均聚合机制，FedCBO 可能对对抗性攻击具有内在防护能力。