[论文解读] Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features

Xinyi Shang, Yang Lu+2 more|arXiv (Cornell University)|Apr 28, 2022

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文提出CReFF，一种保护隐私的联邦学习方法，通过使用合成的联邦特征重新训练全局分类器，以解决数据异构性和长尾类别不平衡问题。通过优化联邦特征使其匹配真实数据的梯度，CReFF在不泄露本地数据或类别分布的情况下，实现了与完整数据微调相当的性能，在CIFAR-10-LT和ImageNet-LT上优于当前最先进的联邦学习方法。

ABSTRACT

Federated learning (FL) provides a privacy-preserving solution for distributed machine learning tasks. One challenging problem that severely damages the performance of FL models is the co-occurrence of data heterogeneity and long-tail distribution, which frequently appears in real FL applications. In this paper, we reveal an intriguing fact that the biased classifier is the primary factor leading to the poor performance of the global model. Motivated by the above finding, we propose a novel and privacy-preserving FL method for heterogeneous and long-tailed data via Classifier Re-training with Federated Features (CReFF). The classifier re-trained on federated features can produce comparable performance as the one re-trained on real data in a privacy-preserving manner without information leakage of local data or class distribution. Experiments on several benchmark datasets show that the proposed CReFF is an effective solution to obtain a promising FL model under heterogeneous and long-tailed data. Comparative results with the state-of-the-art FL methods also validate the superiority of CReFF. Our code is available at https://github.com/shangxinyi/CReFF-FL.

研究动机与目标

• 为解决联邦学习中数据异构性和长尾类别分布并存所带来的挑战，该挑战会严重降低模型性能。
• 识别出偏差的分类器是此类设置下全局模型性能不佳的主要原因。
• 开发一种保护隐私的方法，避免暴露本地数据或类别分布，同时提升模型准确率。
• 实现在服务器端仅使用合成的联邦特征而非真实客户端数据，有效重新训练分类器。
• 验证在联邦特征上重新训练分类器可达到与在真实数据上重新训练相当的性能。

提出的方法

• 该方法将联邦学习解耦为两个阶段：通过FedAvg进行特征提取，以及在服务器端重新训练分类器。
• 在服务器端通过优化联邦特征，使其梯度方向与真实数据特征的梯度方向一致，从而合成联邦特征。
• 梯度匹配损失确保在联邦特征上训练的分类器遵循与在真实数据上训练的分类器相似的优化路径。
• 仅生成每类少量平衡的联邦特征（例如1–200个），从而最小化通信和存储开销。
• 该方法保护隐私，因为联邦特征无需与真实特征相似，仅需其梯度对齐即可。
• 使用这些合成的、平衡的联邦特征在服务器端重新训练分类器，避免暴露本地数据或类别分布。

实验结果

研究问题

• RQ1 为何在联邦特征上重新训练分类器可实现与在真实数据上重新训练相当的性能？
• RQ2 在训练过程中，联邦特征与真实特征之间的梯度匹配损失如何演变？
• RQ3 在多大程度上，合成的联邦特征在保护隐私的同时仍能实现有效的分类器重新训练？
• RQ4 每类需要多少联邦特征才能实现显著的性能提升？
• RQ5 在极端数据异构性和长尾不平衡条件下，CReFF与当前最先进的联邦学习方法相比表现如何？

主要发现

• 在IF=100且α=0.1的CIFAR-10-LT上，CReFF相比FedAvg实现了18%的性能提升，证明了其在极端异构性和长尾不平衡下的强有效性。
• CReFF在CIFAR-10-LT和ImageNet-LT上均优于所有当前最先进的联邦学习方法，在所有样本量设置（多、中、少样本类别）下均达到最高准确率。
• 即使每类仅使用一个联邦特征，CReFF在IF=100的CIFAR-10-LT上仍实现了4.21%的准确率提升，表明其在极小数据量下仍具鲁棒性。
• 联邦特征与真实特征之间的梯度差异在数轮训练内降至接近零，证实了梯度对齐的有效性。
• 联邦特征与真实特征之间的余弦差异保持较高水平，证实合成特征不可重构，从而有效保护隐私。
• CReFF的性能增益稳定且可扩展，当每类联邦特征超过100–200个后，增益呈递减趋势。