[论文解读] Learning with Confident Examples: Rank Pruning for Robust Classification with Noisy Labels

Curtis G. Northcutt, Tailin Wu+1 more|arXiv (Cornell University)|May 4, 2017

Machine Learning and Data Classification参考文献 19被引用 57

一句话总结

Rank Pruning 是一种时间高效的二分类带有噪声标签的方法，能够联合估计非对称噪声率并修剪错误标签的样本，从而实现与在干净数据上训练等价的风险。

ABSTRACT

Noisy PN learning is the problem of binary classification when training examples may be mislabeled (flipped) uniformly with noise rate rho1 for positive examples and rho0 for negative examples. We propose Rank Pruning (RP) to solve noisy PN learning and the open problem of estimating the noise rates, i.e. the fraction of wrong positive and negative labels. Unlike prior solutions, RP is time-efficient and general, requiring O(T) for any unrestricted choice of probabilistic classifier with T fitting time. We prove RP has consistent noise estimation and equivalent expected risk as learning with uncorrupted labels in ideal conditions, and derive closed-form solutions when conditions are non-ideal. RP achieves state-of-the-art noise estimation and F1, error, and AUC-PR for both MNIST and CIFAR datasets, regardless of the amount of noise and performs similarly impressively when a large portion of training examples are noise drawn from a third distribution. To highlight, RP with a CNN classifier can predict if an MNIST digit is a "one"or "not" with only 0.25% error, and 0.46 error across all digits, even when 50% of positive examples are mislabeled and 50% of observed positive labels are mislabeled negative examples.

研究动机与目标

• 激励并形式化 tilde-PN 学习问题（带有非对称标签噪声的二元分类）以及需要估计噪声率（rho1，rho0）。
• 将 Rank Pruning 作为一个两阶段的解决方案引入：(i) 从自信样本中估计噪声率，(ii) 修剪错误标注的样本并在自信子集中进行训练。
• 证明在非理想条件下的一致性并推导封闭形式结果，展示在某些假设下等价于干净标签学习的期望风险。

提出的方法

• 定义自信样本计数并基于预测概率 g(x) 推导 hat{rho}_1^{conf} 和 hat{rho}_0^{conf}。
• 计算基于阈值的分区 LB_{y=1} 与 UB_{y=0}，在受损集合中分离正确标注的样本与错误标注的样本。
• 使用 BFPRT 以 O(n) 时间修剪 hat{pi}_1|tilde{P}| 与 hat{pi}_0|tilde{N}| 的样本，形成混淆的训练集。
• 对修剪数据的损失进行重权以恢复正负样本的平衡并拟合最终分类器。
• 证明在区间可分离的前提下，Rank Pruning 实现与非污染标签学习等价的期望风险（定理 5）。
• 给出拟合基分类器的时间 O(T) 加上 O(n) 的修剪步，整体对典型分类器的时间复杂度为 O(T)。

实验结果

研究问题

• RQ1 Rank Pruning 是否能够从受损数据中准确估计非对称噪声率 rho1 和 rho0？
• RQ2 在理想条件下，修剪自信样本是否会得到与用干净标签训练相同的期望风险的分类器？
• RQ3 在非理想条件（不完美的 g、P 与 N 的重叠、加入第三分布噪声）下，在标准数据集上的表现如何？
• RQ4 Rank Pruning 的时间效率是否足以扩展到大规模数据集和复杂模型？

主要发现

• Rank Pruning 实现了鲁棒的噪声估计，并在 MNIST 与 CIFAR 的不同噪声水平和噪声分布下，达到最先进的 F1、错误率和 AUC-PR。
• 使用 CNN 时，Rank Pruning 在 MNIST 的 one-vs-not-one 上达到 0.25% 的错误率，在所有数字上的误差为 0.46%，即使正类和观测标签中有高达 50% 的错误标注。
• 在理想条件下，hat{rho}_1^{conf} = rho1 且 hat{rho}_0^{conf} = rho0（的一致性）。
• 在非理想条件下，hat{rho}_1^{conf} 与 hat{rho}_0^{conf} 仍然是上界，且在满足某些阈值时对估计误差具有鲁棒性（定理 4）。
• 当区间可分离成立且噪声率被精确估计时，Rank Pruning 的期望风险与从干净标签学习相同（定理 5）。
• 算法对基分类器的运行时间为 O(T)，再加上 O(n) 的修剪步骤，使其适用于大规模问题。