[论文解读] FedSoft: Soft Clustered Federated Learning with Proximal Local Updating

Yichen Ruan, Carlee Joe‐Wong|arXiv (Cornell University)|Dec 11, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

FedSoft 提出了一种软聚类联邦学习框架，允许客户端根据混合数据分布向多个聚类模型贡献参数，通过近端本地更新限制客户端工作负载。该方法在多样化数据混合模式下实现了高质量的聚类与个性化模型，并具备理论收敛保证，性能优越。

ABSTRACT

Traditionally, clustered federated learning groups clients with the same data distribution into a cluster, so that every client is uniquely associated with one data distribution and helps train a model for this distribution. We relax this hard association assumption to soft clustered federated learning, which allows every local dataset to follow a mixture of multiple source distributions. We propose FedSoft, which trains both locally personalized models and high-quality cluster models in this setting. FedSoft limits client workload by using proximal updates to require the completion of only one optimization task from a subset of clients in every communication round. We show, analytically and empirically, that FedSoft effectively exploits similarities between the source distributions to learn personalized and cluster models that perform well.

研究动机与目标

• 为解决硬聚类联邦学习的局限性（即假设每个客户端仅属于单一数据分布），通过允许客户端基于混合数据分布向多个聚类模型贡献参数来加以改进。
• 通过使用近端本地更新，减少软聚类联邦学习中的客户端计算工作负载，确保每轮通信中仅部分客户端执行优化。
• 通过联合训练个性化与聚类模型，利用聚类分布之间的结构相似性，提升模型性能。
• 在非独立同分布（non-IID）和混合数据设置下，为个性化与聚类模型提供理论收敛保证。

提出的方法

• 提出软聚类联邦学习，其中每个客户端的数据遵循多个源分布的混合，放宽了传统联邦学习中对客户端硬性分配的假设。
• 采用近端本地更新，将客户端优化与全局模型聚合解耦，确保每个客户端在每轮通信中仅执行一次本地优化任务。
• 维护两类模型：每个客户端的个性化本地模型，以及每个分布的共享聚类模型，通过统一的优化框架联合训练。
• 使用重要性加权估计每个客户端对每个聚类模型的贡献，实现客户端与底层分布之间的准确关联。
• 应用收敛性分析框架，在温和假设下建立聚类模型与个性化模型的全局收敛性。
• 通过联合训练聚类模型，实现相似分布之间的知识迁移，提升泛化能力并降低训练损失。

实验结果

研究问题

• RQ1 在模型准确率与工作负载效率方面，软聚类联邦学习在混合数据分布下是否优于传统硬聚类联邦学习？
• RQ2 在保持高质量聚类与个性化模型的前提下，如何最小化软聚类联邦学习中的客户端工作负载？
• RQ3 在联邦学习中，数据分布之间的结构相似性在多大程度上可被利用以提升模型收敛性与性能？
• RQ4 在非独立同分布与混合数据条件下，FedSoft 中近端更新的使用是否能确保聚类与个性化模型的稳定收敛？

主要发现

• FedSoft 在合成数据与真实世界数据（EMNIST 字母）上均达到最先进性能，聚类模型测试均方误差（MSE）为 34.5，最佳中心的准确率为 72.3%，优于基线方法。
• 在 10:90 混合模式下，FedSoft 实现 90.9% 的平均本地模型准确率与 74.6% 的聚类模型准确率，显著优于 IFCA（65.2%）与 FedEM（63.6%）。
• 该算法正确地将聚类中心与底层分布关联，如图 2 所示的重要性权重估计结果所示，FedSoft 为每个客户端正确分配了高权重至对应聚类。
• 在合成数据的 8 个分布混合模式下，FedSoft 实现最低的测试均方误差（例如，在 θ0 条件下 c5 的测试 MSE 为 57.6），展现出对复杂混合模式的鲁棒性。
• 30:70 混合模式性能最差，原因在于本地求解器的精度较低，凸显了数据分布平衡对训练稳定性的显著影响。
• FedSoft 在所有混合模式下均保持强劲性能，包括旋转后的 MNIST 数据，聚类模型准确率在 0° 时为 71.5%，在 90° 时为 71.7%，表明其对分布偏移具有良好的泛化能力。