[论文解读] Classification with Asymmetric Label Noise: Consistency and Maximal Denoising

Gilles Blanchard, Marek Flaska+3 more|arXiv (Cornell University)|Mar 5, 2013

Machine Learning and Data Classification参考文献 42被引用 78

一句话总结

该论文提出了一种在未知噪声率下处理非对称标签噪声的二分类方法，提出了识别真实类条件分布的必要与充分条件。通过结合最大去噪（基于互不可约性）与一种新颖的混合比例估计方法，实现了普遍一致性，即使在噪声水平未知且非对称的情况下也能实现一致分类。

ABSTRACT

In many real-world classification problems, the labels of training examples are randomly corrupted. Most previous theoretical work on classification with label noise assumes that the two classes are separable, that the label noise is independent of the true class label, or that the noise proportions for each class are known. In this work, we give conditions that are necessary and sufficient for the true class-conditional distributions to be identifiable. These conditions are weaker than those analyzed previously, and allow for the classes to be nonseparable and the noise levels to be asymmetric and unknown. The conditions essentially state that a majority of the observed labels are correct and that the true class-conditional distributions are "mutually irreducible," a concept we introduce that limits the similarity of the two distributions. For any label noise problem, there is a unique pair of true class-conditional distributions satisfying the proposed conditions, and we argue that this pair corresponds in a certain sense to maximal denoising of the observed distributions. Our results are facilitated by a connection to "mixture proportion estimation," which is the problem of estimating the maximal proportion of one distribution that is present in another. We establish a novel rate of convergence result for mixture proportion estimation, and apply this to obtain consistency of a discrimination rule based on surrogate loss minimization. Experimental results on benchmark data and a nuclear particle classification problem demonstrate the efficacy of our approach.

研究动机与目标

• 从带有非对称标签噪声的污染训练数据中，识别真实类条件分布的必要与充分条件。
• 开发一种无需事先知晓噪声比例或类别可分性的普遍一致分类规则。
• 建立标签噪声校正与混合比例估计（MPE）之间的联系，以提升鲁棒性。
• 为MPE提供收敛速率的理论保证，并将其应用于确保代理损失最小化的一致性。
• 在基准数据集和一个真实世界的核粒子分类任务上验证该方法的有效性。

提出的方法

• 引入互不可约性的概念，确保任一类条件分布都不能表示为另一类条件分布与其他分布的非平凡混合，这对可识别性至关重要。
• 定义最大去噪原则：唯一满足条件的解对应于最高的总噪声水平（π₀ + π₁ < 1）以及在 P₀ 与 P₁ 之间的最大总变差分离。
• 提出两阶段方法：首先使用一种新颖的MPE算法估计噪声比例 π₀ 与 π₁，并给出收敛速率结果；然后应用带截断损失的代理损失最小化以确保一致性。
• 使用截断代理损失 L̃α 稳定学习过程，确保利普希茨连续性和有界性，从而支持基于Rademacher复杂度的一般化界。
• 采用带再生核Hilbert空间（RKHS）和T-截断的正则化经验风险最小化框架，以控制函数范数并确保收敛。
• 在多个损失函数上应用联合界，并利用浓度不等式控制经验风险的偏差，确保经验风险以概率收敛至最优风险。

实验结果

研究问题

• RQ1 当标签噪声为非对称且未知时，真实类条件分布 P₀ 与 P₁ 在何种条件下能从观测到的污染分布 P̃₀ 与 P̃₁ 中唯一识别？
• RQ2 是否可以在不假设已知噪声率或类别可分性的前提下，构建一个普遍一致的分类器？
• RQ3 所提出的最大去噪原则与标签噪声问题中解空间的几何结构有何关系？
• RQ4 混合比例估计（MPE）的收敛速率是多少？它如何影响最终分类器的一致性？
• RQ5 该方法是否能在真实世界数据上实现一致性能，且在噪声率未知、非对称的条件下表现良好？

主要发现

• 可识别性的必要与充分条件为：(1) 总噪声水平 π₀ + π₁ < 1；(2) P₀ 与 P₁ 的互不可约性，这确保了解的唯一性。
• 满足这些条件的唯一解对应于在 π₀ + π₁ < 1 约束下可达到的最大总噪声水平和 P₀ 与 P₁ 之间的最大总变差距离，从而定义了对观测数据的最大去噪。
• 为混合比例估计（MPE）建立了新的收敛速率，这对在未知 π₀ 与 π₁ 时实现准确估计至关重要。
• 基于带截断损失的代理损失最小化的分类规则具有普遍一致性，随着样本量增加，其以概率收敛至最优风险。
• 在基准数据集和核粒子分类任务上的实证结果证实了该方法的有效性，在非对称标签噪声下优于基线方法。
• 即使真实类别不可分且噪声率未知，该方法仍能实现一致性能，展现出在真实世界场景中的鲁棒性。