[论文解读] FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels

Zhuowei Wang, Tianyi Zhou+3 more|arXiv (Cornell University)|May 20, 2022

Machine Learning and Data Classification被引用 14

一句话总结

FedNoiL 提出了一种在标签噪声环境下用于联邦学习的两级采样方法，其中服务器根据全局模型置信度选择高质量客户端，客户端则利用伪标签法选择干净标签。通过整合干净标签检测与半监督学习，FedNoiL 在各种设置下均表现出一致且优于当前最优联邦学习（FL）与标签噪声学习（NLL）组合的方法，尤其在异质性噪声和非独立同分布（non-IID）数据分布下表现更优。

ABSTRACT

Federated learning (FL) aims at training a global model on the server side while the training data are collected and located at the local devices. Hence, the labels in practice are usually annotated by clients of varying expertise or criteria and thus contain different amounts of noises. Local training on noisy labels can easily result in overfitting to noisy labels, which is devastating to the global model through aggregation. Although recent robust FL methods take malicious clients into account, they have not addressed local noisy labels on each device and the impact to the global model. In this paper, we develop a simple two-level sampling method "FedNoiL" that (1) selects clients for more robust global aggregation on the server; and (2) selects clean labels and correct pseudo-labels at the client end for more robust local training. The sampling probabilities are built upon clean label detection by the global model. Moreover, we investigate different schedules changing the local epochs between aggregations over the course of FL, which notably improves the communication and computation efficiency in noisy label setting. In experiments with homogeneous/heterogeneous data distributions and noise ratios, we observed that direct combinations of SOTA FL methods with SOTA noisy-label learning methods can easily fail but our method consistently achieves better and robust performance.

研究动机与目标

• 解决联邦学习中异质性标签噪声的挑战，即客户端本地数据受不同噪声比例的影响。
• 克服现有鲁棒联邦学习方法的局限性，这些方法忽略本地标签噪声，且无法在全局聚合与本地训练之间实现有效交互。
• 通过在服务器与客户端两级引入两级采样策略，提升在标签噪声环境下的联邦学习鲁棒性与性能。
• 通过自适应本地训练轮次调度，提升通信与计算效率，初始阶段采用更多轮次并随时间递减。
• 证明直接组合当前最优的联邦学习与标签噪声学习方法在噪声与非独立同分布设置下会失效，因此需要像 FedNoiL 这类协调性方法。

提出的方法

• 服务器利用全局模型的置信度分数执行客户端级采样，优先选择噪声比例较低的客户端参与全局聚合。
• 客户端通过从全局模型中选择预测置信度高的样本作为本地训练的干净标签，实现本地数据采样。
• 采用半监督学习策略，将选定的高置信度样本视为已标注样本，其余样本视为未标注样本，并为其赋予来自全局模型的伪标签。
• 客户端与数据采样概率均基于全局模型的预测置信度生成，该方法对标签噪声更具鲁棒性，优于本地模型。
• 采用自适应本地训练轮次调度机制——初始阶段采用更多本地轮次，并通过衰减函数（如对数或余弦函数）逐步减少，以平衡收敛速度与通信效率。
• 该方法整合了干净标签检测与伪标签技术，从而在无需真实标签访问的前提下提升本地模型质量。

实验结果

研究问题

• RQ1 结合客户端选择与干净标签采样的两级采样策略，是否能提升联邦学习在标签噪声环境下的鲁棒性？
• RQ2 在异质性标签噪声环境下，使用全局模型置信度作为采样概率是否能显著影响性能表现？
• RQ3 自适应本地训练轮次调度对噪声联邦学习环境中收敛性与通信效率有何影响？
• RQ4 当与基于置信度的采样结合时，半监督学习（使用伪标签）在多大程度上能增强本地模型训练？
• RQ5 为何直接组合当前最优联邦学习与标签噪声学习方法在非独立同分布与高噪声联邦学习环境中会失效？FedNoiL 如何克服这一问题？

主要发现

• FedNoiL 显著优于直接组合当前最优联邦学习与标签噪声学习方法，在高噪声条件下 CIFAR-10 上测试准确率最高提升达 15%。
• 在 CIFAR-10 对称噪声（50%）设置下，FedNoiL 达到 88.05% 的测试准确率，领先第二名方法超过 10 个百分点。
• 消融实验证实，客户端级与数据级采样均不可或缺：在高噪声环境下，均匀采样会使性能下降最高达 20%。
• 若移除半监督学习（记为 FedNoiL†），测试准确率将下降 10–15%，且标签精确率与召回率均降低，证明半监督学习在其中起关键作用。
• 对数衰减的本地训练轮次调度策略显著提升了通信效率与模型收敛性，尤其在早期训练阶段面对噪声数据时表现更优。
• FedNoiL 在多种设置下均保持鲁棒性能，包括非独立同分布数据与不同噪声比例，证明其具备良好的泛化能力与稳定性。