[论文解读] Learning with Feature-Dependent Label Noise: A Progressive Approach

Yikai Zhang, Songzhu Zheng+3 more|arXiv (Cornell University)|Mar 13, 2021

Machine Learning and Data Classification参考文献 37被引用 32

一句话总结

引入 Progressive Label Correction (PLC) 来处理 Poly-Margin Diminishing (PMD) 标签噪声，并给出收敛到贝叶斯最优分类器的理论保证，以及强有力的经验结果。

ABSTRACT

Label noise is frequently observed in real-world large-scale datasets. The noise is introduced due to a variety of reasons; it is heterogeneous and feature-dependent. Most existing approaches to handling noisy labels fall into two categories: they either assume an ideal feature-independent noise, or remain heuristic without theoretical guarantees. In this paper, we propose to target a new family of feature-dependent label noise, which is much more general than commonly used i.i.d. label noise and encompasses a broad spectrum of noise patterns. Focusing on this general noise family, we propose a progressive label correction algorithm that iteratively corrects labels and refines the model. We provide theoretical guarantees showing that for a wide variety of (unknown) noise patterns, a classifier trained with this strategy converges to be consistent with the Bayes classifier. In experiments, our method outperforms SOTA baselines and is robust to various noise types and levels.

研究动机与目标

• 在异质的、特征相关的标签噪声下推动学习，而不仅仅是假设独立同分布（i.i.d.）。
• 引入 PMD 噪声家族，以推广现实世界的标签损坏模式。
• 开发一个数据重新校准的渐进标签校正算法，并具备收敛保证。
• 给出理论分析，证明在 PMD 噪声下能够收敛到 Bayes 分类器。
• 在标准基线和真实数据集上展示在感知对比中具有优越的经验表现。

提出的方法

• 用边距 t0 和在决策边界之外适用的界限来定义 PMD（多边距递减）标签噪声。
• 提出 Progressive Label Correction (PLC)：先进行热身训练，然后使用高置信度分类器迭代地纠正标签，并随时间降低阈值。
• 交替标签纠正与模型再训练，以逐步提升标签纯度和模型准确性。
• 通过用前一预测的间隙来进行纠偏决策，将 PLC 扩展到多类分类。
• 以正式的算法（算法1）给出算法步骤、参数选择和停止准则。
• 给出理论保证（定理1 及其辅助引理），表明 PLC 能在提高标签纯度的同时收敛。

实验结果

研究问题

• RQ1 带有 PMD 噪声的数据重新校正方法是否能对贝叶斯最优分类器的收敛性给出可证明的保证？
• RQ2 PMD 噪声如何概括常见的噪声模型，PLC 是否能在此等噪声下鲁棒地纠正标签？
• RQ3 在何种理论条件下 PLC 能保证每次迭代的改进和整体收敛？
• RQ4 在 CIFAR-10/100 上对抗不同噪声模式以及 Clothing1M 这类真实数据，PLC 相较于最先进的带噪声方法表现如何？
• RQ5 PLC 对阈值和纠偏节奏的超参数选择是否具备鲁棒性？

主要发现

• 在多种 PMD 噪声类型下，CIFAR-10/100 在 35% 和 70% 破坏率下，PLC 达成了最先进的准确率。
• 在混合噪声（特征相关+独立同分布）下，PLC 优于基线方法，并在带噪声的设置中保持鲁棒性。
• 在 Clothing1M 上，PLC 在一个现实的大规模带噪声数据集上表现出与多种基线方法可比较的准确度。
• 理论结果（定理1）表明，在 PMD 噪声条件下，PLC 能以高概率收敛到贝叶斯最优分类器，前提是满足温和的假设。
• 热身阶段加上逐步收紧的纠偏阈值保证了“纯净”区域的扩展以及整体标签纯度的提升。