[论文解读] FedGroup: Ternary Cosine Similarity-based Clustered Federated Learning Framework toward High Accuracy in Heterogeneous Data.

Moming Duan, Duo Liu+5 more|arXiv (Cornell University)|Oct 14, 2020

Privacy-Preserving Technologies in Data被引用 16

一句话总结

FedGroup 是一种新颖的联邦学习框架，通过基于优化方向的三元余弦相似度对客户端进行聚类，提升了非独立同分布（non-IID）和数据不平衡设置下的模型准确率。通过将客户端分组进行子优化，并与 FedProx 结合，FedGroup 在 FEMNIST 上相比 FedAvg 实现了 +14.7% 的绝对测试准确率提升，在 Sentiment140 上相比 FedProx 实现了 +5.4% 的绝对提升。

ABSTRACT

Federated Learning (FL) enables the multiple participating devices to collaboratively contribute to a global neural network model while keeping the training data locally. Unlike the centralized training setting, the non-IID and imbalanced (statistical heterogeneity) training data of FL is distributed in the federated network, which will increase the divergences between the local models and global model and further degrade the performance. In this paper, we propose a novel federated learning framework FedGroup based on a similarity-based clustering strategy, in which we 1) group the training of clients based on the similarities between the clients' optimize directions; 2) reduce the complexity of high-dimension low-sample size (HDLSS) parameter updates data clustering by decomposing the direction vectors to derive the ternary cosine similarity. FedGroup can achieve improvements by dividing joint optimization into groups of sub-optimization, and can be combined with FedProx, the state-of-the-art federated optimization algorithm. We evaluate FedGroup and FedGrouProx (combined with FedProx) on several open datasets. The experimental results show that our proposed frameworks significantly improving absolute test accuracy by +14.7% on FEMNIST compared to FedAvg, +5.4% on Sentiment140 compared to FedProx.

研究动机与目标

• 解决联邦学习中因非独立同分布和数据不平衡导致的统计异质性问题，该问题会降低全局模型性能。
• 通过将具有相似优化方向的客户端分组，减少本地模型与全局模型之间的差异。
• 通过向量分解降低高维、小样本参数更新聚类的计算复杂度。
• 在不共享客户端数据的前提下，提升联邦学习中的测试准确率。
• 与现有最先进算法（如 FedProx）兼容，以实现性能增强。

提出的方法

• 基于客户端优化方向向量的余弦相似度对客户端进行聚类，形成具有相似学习动态的组别。
• 通过分解方向向量引入三元余弦相似度度量，以降低维度和计算成本。
• 在每个聚类内执行联合优化，以最小化与全局模型的偏差。
• 将高维参数更新分解为低维分量，以简化高维小样本（HDLSS）环境下的聚类。
• 将 FedGroup 与 FedProx 集成，形成 FedGrouProx，结合聚类优势与近端正则化。
• 利用客户端分组实现子优化，降低全局模型收敛的整体复杂度。

实验结果

研究问题

• RQ1 基于优化方向相似性的客户端聚类是否能提升数据异质性环境下的联邦学习性能？
• RQ2 三元余弦相似度在高维、小样本参数更新聚类中如何降低计算复杂度？
• RQ3 与 FedAvg 和 FedProx 相比，FedGroup 在非独立同分布数据集上能将测试准确率提升多少？
• RQ4 FedGroup 与 FedProx 的集成在处理统计异质性方面有多高效？
• RQ5 基于相似性的客户端聚类是否能有效降低本地模型与全局模型之间的差异？

主要发现

• 与 FedAvg 相比，FedGroup 在 FEMNIST 数据集上实现了 +14.7% 的绝对测试准确率提升。
• FedGrouProx（即 FedGroup 与 FedProx 集成的版本）在 Sentiment140 数据集上相比 FedProx 实现了 +5.4% 的绝对测试准确率提升。
• 三元余弦相似度方法有效降低了高维参数更新聚类的计算复杂度。
• 基于优化方向相似性的客户端聚类在异构数据设置下显著降低了本地模型与全局模型之间的差异。
• FedGroup 在不共享数据的前提下保持了高性能，从而在联邦学习中保护了隐私。
• 该框架与现有联邦优化算法（如 FedProx）兼容，可在无需架构重构的情况下实现性能提升。