[论文解读] FedNoisy: Federated Noisy Label Learning Benchmark

Siqi Liang, Jintao Huang+4 more|arXiv (Cornell University)|Jun 20, 2023

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出了 FedNoisy，首个联邦噪声标签学习（FNLL）的标准化基准，提供统一的流程以在5个数据集上模拟20种多样化的联邦学习（FL）场景，涵盖不同类型的标签噪声、数据划分方案及噪声分布。研究发现，标签噪声对非独立同分布（Non-IID）设置的影响呈非单调性，且会增加全局梯度范数，为未来 FNLL 方法的开发提供了新见解。

ABSTRACT

Federated learning has gained popularity for distributed learning without aggregating sensitive data from clients. But meanwhile, the distributed and isolated nature of data isolation may be complicated by data quality, making it more vulnerable to noisy labels. Many efforts exist to defend against the negative impacts of noisy labels in centralized or federated settings. However, there is a lack of a benchmark that comprehensively considers the impact of noisy labels in a wide variety of typical FL settings. In this work, we serve the first standardized benchmark that can help researchers fully explore potential federated noisy settings. Also, we conduct comprehensive experiments to explore the characteristics of these data settings and the comparison across baselines, which may guide method development in the future. We highlight the 20 basic settings for 6 datasets proposed in our benchmark and standardized simulation pipeline for federated noisy label learning, including implementations of 9 baselines. We hope this benchmark can facilitate idea verification in federated learning with noisy labels. exttt{FedNoisy} is available at \codeword{https://github.com/SMILELab-FL/FedNoisy}.

研究动机与目标

• 为解决联邦噪声标签学习（FNLL）缺乏标准化基准的问题，该基准支持在多样化设置下进行一致的评估。
• 模拟涉及标签噪声、数据异质性及客户端间噪声分布差异的真实联邦学习场景。
• 提供一个统一且可扩展的代码库，包含即用型 FNLL 设置与基线，覆盖多种集中式噪声标签学习（CNLL）方法类别。
• 揭示标签噪声在非独立同分布（Non-IID）联邦学习设置下对模型性能的非单调影响。
• 揭示新的训练动态，例如在噪声标签下全局梯度范数的增加，可为未来 FNLL 方法设计提供参考。

提出的方法

• 该基准支持20种基本联邦学习设置，结合5个数据集、多种数据划分方案（IID、通过狄利克雷分布实现的 Non-IID、真实世界医院数据），以及多样化的标签噪声类型（对称、非对称、开放集、全局化、局部化）。
• 采用标准化的模拟流程，可配置噪声比例与分布，实现可复现的 FNLL 实验。
• 代码库基于 PyTorch 和 FedLab 构建，集成8个 FNLL 基线，将最先进的集中式噪声标签学习方法整合到可插拔的联邦学习训练工作流中。
• 噪声通过全局化（在所有客户端间相同）或本地化（客户端特定）分布施加，噪声比例从均匀分布中采样以增强鲁棒性。
• 使用基于梯度的度量方法量化性能对噪声比例的敏感性：s(ε) = [acc(ε) - acc(ε+Δ)] / Δ，其中 Δ = 0.1。
• 该基准支持在受控、标准化条件下系统性比较 FNLL 方法，包括训练过程中梯度范数动态的评估。

Figure 1: Federated noise scenes provided in FedNoisy . Left: globalized noise ; middle: localized noise ; right: real-word noise . Globalized noise follows a constant noise ratio $\varepsilon_{global}$ in label corruption, while localized noise draws localized noise ratio $\varepsilon_{k}$ from a u

实验结果

研究问题

• RQ1 在不同噪声比例下，标签噪声对 IID 与 Non-IID 联邦学习设置下的模型性能影响有何差异？
• RQ2 在不同数据划分方案下，模型准确率对噪声比例变化的敏感性如何？
• RQ3 标签噪声如何影响联邦训练期间全局模型的梯度范数？这种影响在 IID 与 Non-IID 设置之间是否存在差异？
• RQ4 从 IID 到 Non-IID 的性能下降呈现非单调行为（随着噪声比例增加）是否可为设计新型 FNLL 策略提供启示？
• RQ5 由于噪声标签导致的梯度范数放大，对设计鲁棒的 FNLL 算法有何启示？

主要发现

• 标签噪声在 Non-IID 设置下可能产生非单调影响：在某些噪声水平下，Non-IID 反而优于 IID，表明噪声与数据异质性之间存在复杂交互作用。
• 在低噪声比例下，Non-IID 设置对噪声更敏感，意味着改进噪声处理方法可在该区域带来更大的性能提升。
• 随着噪声比例增加，Non-IID 对进一步噪声增加的敏感性降低，而 IID 的敏感性则上升，表明高噪声系统应优先关注数据异质性问题。
• 噪声标签显著增加了训练过程中全局模型的梯度范数，且 IID 设置的梯度范数波动幅度大于 Non-IID。
• 在噪声标签下观察到的梯度范数增加表明，该指标可作为检测和缓解噪声样本的有用信号，用于 FNLL。
• 该基准揭示当前 FNLL 基线在范围上存在局限，通常仅将少数 CNLL 方法与 FL 算法结合，凸显了更广泛方法论评估的必要性。

Figure 2: Accuracy for different noise ratios on CIFAR-10 with 10 clients. The $x$ -axis noise ratio is $\varepsilon_{global}$ for globalized noise, and $\varepsilon_{local}$ for localized noise $\mathcal{U}(\varepsilon_{local}-0.1,\varepsilon_{local}+0.1)$ . From left to right: globalized noise, lo