[论文解读] FedCorr: Multi-Stage Federated Learning for Label Noise Correction

Jingyi Xu, Zihan Chen+2 more|arXiv (Cornell University)|Apr 10, 2022

Machine Learning and Data Classification被引用 9

一句话总结

FedCorr 是一种隐私保护的多阶段联邦学习框架，可在无需事先假设噪声模型的前提下，纠正异构联邦学习设置中的标签噪声。它通过模型预测子空间的局部内在维度（LID）动态识别噪声客户端，利用样本级损失纠正标签，并应用自适应近端正则化；在不同噪声水平和数据异构性条件下，该方法在 CIFAR-10/100 和 Clothing1M 上均实现了最先进（SOTA）的准确率。

ABSTRACT

Federated learning (FL) is a privacy-preserving distributed learning paradigm that enables clients to jointly train a global model. In real-world FL implementations, client data could have label noise, and different clients could have vastly different label noise levels. Although there exist methods in centralized learning for tackling label noise, such methods do not perform well on heterogeneous label noise in FL settings, due to the typically smaller sizes of client datasets and data privacy requirements in FL. In this paper, we propose $ exttt{FedCorr}$, a general multi-stage framework to tackle heterogeneous label noise in FL, without making any assumptions on the noise models of local clients, while still maintaining client data privacy. In particular, (1) $ exttt{FedCorr}$ dynamically identifies noisy clients by exploiting the dimensionalities of the model prediction subspaces independently measured on all clients, and then identifies incorrect labels on noisy clients based on per-sample losses. To deal with data heterogeneity and to increase training stability, we propose an adaptive local proximal regularization term that is based on estimated local noise levels. (2) We further finetune the global model on identified clean clients and correct the noisy labels for the remaining noisy clients after finetuning. (3) Finally, we apply the usual training on all clients to make full use of all local data. Experiments conducted on CIFAR-10/100 with federated synthetic label noise, and on a real-world noisy dataset, Clothing1M, demonstrate that $ exttt{FedCorr}$ is robust to label noise and substantially outperforms the state-of-the-art methods at multiple noise levels.

研究动机与目标

• 解决联邦学习中异构标签噪声的挑战，其中客户端具有不同程度的标签噪声且本地数据量有限。
• 克服将集中式标签噪声纠正方法应用于联邦学习时的局限性，原因在于数据隐私和本地数据集规模较小。
• 开发一种隐私保护方法，使客户端能够在不共享原始数据或模型权重的情况下，自主识别并纠正自身标签。
• 通过整合动态客户端过滤与自适应正则化，同时应对联邦学习中的数据异构性与标签质量差异。
• 通过结合客户端级修正与全局模型微调的三阶段框架，提升训练稳定性和模型泛化能力。

提出的方法

• 利用模型预测子空间的局部内在维度（LID）动态识别噪声客户端，无需访问全局模型或共享数据。
• 针对每个识别出的噪声客户端，计算样本级训练损失，并利用全局模型的预测结果对高损失样本进行重标记，以纠正误标数据。
• 引入基于估计本地噪声水平加权的自适应本地近端正则化项，以稳定训练并降低噪声客户端的影响。
• 采用三阶段训练流程：(1) 通过分数调度进行预处理以检测噪声客户端，(2) 在清洁客户端上微调，并在噪声客户端上进行标签修正，(3) 在所有客户端上执行标准联邦学习训练。
• 通过仅传输标量LID分数和模型更新，避免传输原始标签或特征表示，从而保护客户端数据隐私。
• 在标签修正前使用FedAvg进行预热阶段，以稳定全局模型，防止早期修正阶段引入噪声。

实验结果

研究问题

• RQ1 联邦学习框架是否能在不事先假设噪声模型的前提下，有效识别并纠正具有异构噪声水平客户端的标签噪声？
• RQ2 在联邦学习中，如何以隐私保护方式执行标签修正，确保客户端不泄露敏感数据或模型参数？
• RQ3 基于估计的本地噪声水平的自适应近端正则化，在异构联邦学习设置中在多大程度上能提升训练稳定性和收敛性？
• RQ4 FedCorr的多阶段设计与端到端联邦学习方法相比，在应对高标签噪声和数据不平衡方面具有怎样的鲁棒性？
• RQ5 FedCorr是否能在IID和非IID数据分布下均保持高性能，特别是在Clothing1M等真实世界噪声数据集上？

主要发现

• 在CIFAR-10和CIFAR-100的合成标签噪声设置下，FedCorr实现了最先进（SOTA）的测试准确率，优于所有基线方法，包括DivideMix和JointOpt等集中式方法，尤其在高噪声水平下表现更优（例如，ρ=0.8）。
• 在CIFAR-10上，ρ=0.8且τ=0.5时，FedCorr达到87.86% ± 0.53的准确率，仅比DivideMix的集中式性能（91.34% ± 0.39）低约4%，展现出强大的鲁棒性。
• 在CIFAR-10的非IID设置下，FedCorr在所有(p, α_Dir)配置中均比所有基线方法高出至少7%，表明其在数据异构性下具有出色的泛化能力。
• 在真实世界噪声数据集Clothing1M上，FedCorr在联邦学习设置中实现了最高的测试准确率，甚至超过了JointOpt报告的集中式准确率。
• 消融实验表明，分数调度对性能提升影响最大，且最优准确率出现在中等噪声水平（例如，ρ=0.4），而非零噪声，原因在于修正过程引入了额外噪声。
• 将FedCorr与其他联邦学习方法（如FedAvg、FedProx）结合后，可在CIFAR-10/100的多种噪声比下持续实现显著且一致的准确率提升。