[论文解读] FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution

Mahdi Morafah, Saeed Vahidian+2 more|arXiv (Cornell University)|Aug 20, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

FLIS 提出了一种新颖的聚类联邦学习框架，根据客户端模型的推理相似性将客户端分组，从而在非独立同分布（Non-IID）数据分布下实现个性化且高效的训练。通过利用服务器端的推理相似性而不访问私有数据，FLIS 在性能上相比最先进（SOTA）的全局联邦学习方法最高提升40%，相比最先进（SOTA）的个性化联邦学习方法最高提升30%，同时支持未见过的客户端加入以及无需预先知晓聚类数量的自适应聚类。

ABSTRACT

Classical federated learning approaches yield significant performance degradation in the presence of Non-IID data distributions of participants. When the distribution of each local dataset is highly different from the global one, the local objective of each client will be inconsistent with the global optima which incur a drift in the local updates. This phenomenon highly impacts the performance of clients. This is while the primary incentive for clients to participate in federated learning is to obtain better personalized models. To address the above-mentioned issue, we present a new algorithm, FLIS, which groups the clients population in clusters with jointly trainable data distributions by leveraging the inference similarity of clients' models. This framework captures settings where different groups of users have their own objectives (learning tasks) but by aggregating their data with others in the same cluster (same learning task) to perform more efficient and personalized federated learning. We present experimental results to demonstrate the benefits of FLIS over the state-of-the-art benchmarks on CIFAR-100/10, SVHN, and FMNIST datasets. Our code is available at https://github.com/MMorafah/FLIS.

研究动机与目标

• 解决因非独立同分布（Non-IID）数据分布导致联邦学习性能下降的问题，即全局模型在性能上劣于本地模型。
• 在不共享私有数据的前提下，为具有高度偏斜或多样化数据分布的客户端实现个性化模型学习。
• 开发一种基于推理相似性而非模型权重或梯度的聚类机制，以实现灵活且自适应的聚类形成。
• 通过利用现有聚类结构实现快速个性化，支持动态客户端参与，包括在训练开始后加入的新客户端。
• 消除预先定义聚类数量的需求，使方法在不同数据偏斜程度下均具有鲁棒性。

提出的方法

• FLIS 使用服务器持有的小规模数据集，通过客户端的推理响应计算客户端之间的相似性得分，构建相似性矩阵。
• 服务器在推理相似性矩阵上应用硬阈值处理或层次聚类，将客户端分配至聚类，而无需访问其私有数据。
• 在每个聚类内部独立执行模型聚合，使每组能够训练针对其数据分布量身定制的个性化模型。
• 每轮中，客户端根据本地验证损失选择表现最佳的聚类模型，实现个性化适应。
• 该框架以在线方式动态形成聚类，支持新客户端加入并选择最相似的聚类以实现个性化。
• 该方法对高度偏斜和轻微偏斜的非独立同分布（Non-IID）数据均具有鲁棒性，且无需预先知晓聚类数量。

实验结果

研究问题

• RQ1 在不访问私有数据的前提下，能否有效利用客户端模型之间的推理相似性将客户端分组为有意义的聚类？
• RQ2 与基于模型权重或梯度的聚类相比，基于推理相似性的聚类在个性化和收敛性方面表现如何？
• RQ3 在非独立同分布（Non-IID）数据设置下，FLIS 是否能实现优于最先进（SOTA）全局和个性化联邦学习方法的性能？
• RQ4 FLIS 在训练开始后加入的新客户端上泛化能力如何？
• RQ5 用于平衡聚类准确率与模型性能的最优推理相似性阈值 β 是多少？

主要发现

• 在非独立同分布（Non-IID）标签偏斜条件下，FLIS 在 CIFAR-100 和 FMNIST 上相比最先进（SOTA）全局联邦学习基线方法（如 FedAvg、FedProx）最高提升40%的测试准确率。
• 在 FMNIST 数据集上，20% 非独立同分布（Non-IID）偏斜下，FLIS（DC）实现 97.51% 的平均本地测试准确率，优于 IFCA（96.29%）和 Per-FedAvg（89.88%）。
• 在 CIFAR-10 数据集上，30% 非独立同分布（Non-IID）偏斜下，FLIS 仅用 30 次通信轮次即完成收敛，优于所有最先进（SOTA）基线方法，包括 IFCA 和 LG。
• FLIS 使未见过的客户端也能实现高个性化准确率——在 FMNIST 上达到 97.51%，表明其对新参与者的强大泛化能力。
• 最优推理相似性阈值 β 因数据集而异（例如，CIFAR-10 为 β=0.1，FMNIST 为 β=0.5），且在这些值下性能达到峰值，聚类误差最小。
• 与以往方法需固定聚类数量不同，FLIS 在高度偏斜和轻微偏斜的非独立同分布（Non-IID）场景下均保持强劲性能。