[论文解读] Learning with Confident Examples: Rank Pruning for Robust Classification with Noisy Labels

Curtis G. Northcutt, Tailin Wu+1 more|arXiv (Cornell University)|May 4, 2017

Machine Learning and Data Classification被引用 68

一句话总结

Rank Pruning (RP) 提供一种时间高效的二分类带噪声标签的解决方案，通过估计非对称噪声率并使用置信预测来剪除错误标注的样本，在理想条件下实现等效于干净标签学习的风险。

ABSTRACT

Noisy PN learning is the problem of binary classification when training examples may be mislabeled (flipped) uniformly with noise rate rho1 for positive examples and rho0 for negative examples. We propose Rank Pruning (RP) to solve noisy PN learning and the open problem of estimating the noise rates, i.e. the fraction of wrong positive and negative labels. Unlike prior solutions, RP is time-efficient and general, requiring O(T) for any unrestricted choice of probabilistic classifier with T fitting time. We prove RP has consistent noise estimation and equivalent expected risk as learning with uncorrupted labels in ideal conditions, and derive closed-form solutions when conditions are non-ideal. RP achieves state-of-the-art noise estimation and F1, error, and AUC-PR for both MNIST and CIFAR datasets, regardless of the amount of noise and performs similarly impressively when a large portion of training examples are noise drawn from a third distribution. To highlight, RP with a CNN classifier can predict if an MNIST digit is a "one"or "not" with only 0.25% error, and 0.46 error across all digits, even when 50% of positive examples are mislabeled and 50% of observed positive labels are mislabeled negative examples.

研究动机与目标

• 激励并形式化带不对称标签噪声的二分类问题（$ ilde{P} ilde{N}$ 学习）。
• 提出 Rank Pruning (RP) 以估计噪声率 $ ho_1$ 和 $ ho_0$，并剪除错误标注的样本。
• 证明 RP 在理想条件下能够实现一致的噪声估计，并达到等价于干净标签学习的期望风险，同时对非理想情况给出闭式解。
• 展示 RP 在数据集（MNIST、CIFAR）和分类器（LR、CNN）上的可扩展性与鲁棒性。
• 提供理论保障和经验证据，表明 RP 在不牺牲效率的前提下提升 F1、AUC-PR，并降低错误率。

提出的方法

• 从置信的预测标签计数中估计非对称噪声率 $ ho_1$ 和 $ ho_0$，从而获得鲁棒的、样本外的估计。
• 从模型预测中计算 LB 和 UB 阈值，将被污染的数据划分为置信正确/置信错误的子集。
• 使用 BFPRT 将相应比例的 $ ilde{P}$ 和 $ ilde{N}$ 剪除，以在 $O(n)$ 时间内获得 $ ilde{P}_{conf}$ 和 $ ilde{N}_{conf}$。
• 在置信子集上重新拟合分类器，并使用类别条件权重以抵消估计的噪声。
• 证明在取值分离（range separability）条件下，RP 的期望风险等价于使用干净标签进行学习（定理 5）。
• 为非理想情况提供闭式表达，并在理想/非理想条件下建立一致性（引理/定理）。

实验结果

研究问题

• RQ1 RP 是否能够从被污染的标签中准确估计非对称噪声率 $ ho_1$ 和 $ ho_0$？
• RQ2 在理想条件下，RP 是否能达到与干净标签学习等价的期望风险？
• RQ3 当 $g$ 不是理想的，或当 $P$ 与 $N$ 的支持有重叠时，RP 的表现如何？
• RQ4 RP 是否时间高效且可扩展到大规模数据集和复杂分类器？
• RQ5 在 MNIST、CIFAR 及不同噪声水平下，RP 是否提升标准指标（F1、AUC-PR、Error）？

主要发现

• RP 在 $ ilde{P} ilde{N}$ 数据上实现鲁棒、时间高效的噪声率估计。
• 在理想条件下，RP 的噪声估计是精确的，所得到的风险等价于使用真实标签的学习。
• 即使 $g$ 不完美，RP 也保持鲁棒性，并为非理想情境给出闭式调整。
• 实证显示，RP 在 MNIST 和 CIFAR 上，在不同噪声水平以及来自第三分布的附加噪声条件下，达到前沿的 F1、AUC-PR 和 Error。
• 在 MNIST 上使用 CNN 时，RP 在相当大的标签噪声（如 50% 误标）下，one-vs-not-one 的错误率可达到 0.25%，总体错误率为 0.46%。
• RP 随着数据规模、特征维度和噪声分数的增加而扩展，同时保持 O(T) 的拟合时间和线性剪枝复杂度。