[论文解读] Addressing Class Imbalance in Federated Learning

Lixu Wang, Shichao Xu+2 more|arXiv (Cornell University)|Aug 14, 2020

Privacy-Preserving Technologies in Data参考文献 66被引用 5

一句话总结

本文提出了一种隐私保护方法，通过引入基于梯度的监控机制和一种新型的Ratio Loss函数，在联邦学习中检测并缓解类别不平衡问题。该方法从梯度更新中估计数据组成，而无需暴露原始数据，显著提升了少数类别的准确率，同时保持了客户端隐私，并优于现有损失函数。

ABSTRACT

Federated learning (FL) is a promising approach for training decentralized data located on local client devices while improving efficiency and privacy. However, the distribution and quantity of the training data on the clients' side may lead to significant challenges such as class imbalance and non-IID (non-independent and identically distributed) data, which could greatly impact the performance of the common model. While much effort has been devoted to helping FL models converge when encountering non-IID data, the imbalance issue has not been sufficiently addressed. In particular, as FL training is executed by exchanging gradients in an encrypted form, the training data is not completely observable to either clients or servers, and previous methods for class imbalance do not perform well for FL. Therefore, it is crucial to design new methods for detecting class imbalance in FL and mitigating its impact. In this work, we propose a monitoring scheme that can infer the composition of training data for each FL round, and design a new loss function -- extbf{Ratio Loss} to mitigate the impact of the imbalance. Our experiments demonstrate the importance of acknowledging class imbalance and taking measures as early as possible in FL training, and the effectiveness of our method in mitigating the impact. Our method is shown to significantly outperform previous methods, while maintaining client privacy.

研究动机与目标

• 为解决联邦学习中因客户端间数据分布不均导致少数类别模型性能差的问题。
• 设计一种监控机制，通过分析梯度更新推断本地数据组成，而无需客户端共享原始数据或分布统计信息。
• 开发一种新的损失函数Ratio Loss，根据梯度比例动态调整样本贡献，以抵消类别不平衡的影响。
• 确保该方案在有效缓解类别不平衡负面影响的同时，保护客户端隐私。

提出的方法

• 在每轮联邦学习中，通过向全局模型输入辅助数据并分析相应的梯度更新，部署监控器以估计每轮的数据组成。
• 将当前全局模型的梯度与上一轮的梯度进行比较，以检测持续存在的数据分布不平衡。
• 当检测到持续不平衡时，系统将触发使用Ratio Loss，根据样本的梯度贡献重新加权训练样本。
• Ratio Loss通过提高少数类别样本相对于多数类别样本的梯度贡献，增强其在训练中的影响。
• 用于监控的辅助数据量较小（每类32个样本），从测试集或非参与客户端中随机采样，以避免分布偏移。
• 该方法在隐私约束下运行，仅依赖梯度交换——不与服务器共享原始数据或分布统计信息。

实验结果

研究问题

• RQ1 联邦学习系统能否在不访问原始客户端数据或分布统计信息的情况下检测类别不平衡？
• RQ2 隐私保护的监控机制如何从联邦学习中的梯度更新中估计数据组成？
• RQ3 新型损失函数Ratio Loss能否在保护少数类别模型准确率的同时，有效缓解联邦学习中的类别不平衡影响？
• RQ4 与现有损失函数（如Focal Loss、GHMC）相比，该方法在性能和隐私方面表现如何？
• RQ5 当数据组成在联邦学习轮次间动态变化时，系统是否仍保持有效性？

主要发现

• 所提出的监控机制通过分析梯度更新成功检测到类别不平衡，实现在不暴露原始数据的前提下实现早期干预。
• 在静态和动态不平衡场景下，Ratio Loss相较于CrossEntropy、Focal Loss和GHMC Loss，显著提升了少数类别的分类准确率。
• 即使在客户端间数据分布存在差异的情况下，该方法仍保持高性能，表现出对非独立同分布（non-IID）和动态数据组成变化的鲁棒性。
• 实验表明，在训练初期即应用缓解策略可防止全局模型偏向多数类别，从而实现更好的收敛性。
• 即使辅助数据来自不同作者（如在FEMNIST中），其在监控中的有效性也表明该方法对特征异质性具有鲁棒性。
• 该方法在标准联邦学习和非联邦学习设置下均优于当前最先进损失函数，证实了Ratio Loss的泛化能力。