[论文解读] Fast Rates for a kNN Classifier Robust to Unknown Asymmetric Label Noise

Henry W. J. Reeve, Ata Kabán|arXiv (Cornell University)|Jun 11, 2019

Machine Learning and Data Classification被引用 9

一句话总结

该论文证明，在回归函数满足测度光滑性条件且满足Tsybakov的边界条件的前提下，Gao等人提出的鲁棒kNN分类器在未知非对称标签噪声下可实现几乎最优的快速收敛速率（仅相差对数因子）。该方法即使在噪声概率未知时仍保持一致并实现快速收敛，而标准kNN在类似情况下会失效。

ABSTRACT

We consider classification in the presence of class-dependent asymmetric label noise with unknown noise probabilities. In this setting, identifiability conditions are known, but additional assumptions were shown to be required for finite sample rates, and so far only the parametric rate has been obtained. Assuming these identifiability conditions, together with a measure-smoothness condition on the regression function and Tsybakov's margin condition, we show that the Robust kNN classifier of Gao et al. attains, the minimax optimal rates of the noise-free setting, up to a log factor, even when trained on data with unknown asymmetric label noise. Hence, our results provide a solid theoretical backing for this empirically successful algorithm. By contrast the standard kNN is not even consistent in the setting of asymmetric label noise. A key idea in our analysis is a simple kNN based method for estimating the maximum of a function that requires far less assumptions than existing mode estimators do, and which may be of independent interest for noise proportion estimation and randomised optimisation problems.

研究动机与目标

• 在未知非对称标签噪声下建立kNN分类的快速收敛速率。
• 证明鲁棒kNN分类器在缺乏类别条件噪声概率先验知识的情况下仍能保持最优收敛速率。
• 确定在何种条件下，具有未知非对称标签噪声的统计学习问题在极小极大意义下与无噪声情形的难度相当。
• 为鲁棒kNN算法在噪声环境下的经验成功提供理论依据。

提出的方法

• 采用鲁棒kNN分类器，该方法是一种基于从带噪声标签中估计被污染回归函数η_corr的插值方法。
• 该方法依赖于从关系式η_corr(x) = (1 - p₀ - p₁)η(x) + p₀导出的线性系统求解，以恢复真实回归函数η。
• 提出一种新型基于kNN的函数最大值估计器，其假设条件显著少于现有模态估计器，并用于估计噪声比例。
• 分析假设η满足测度光滑性条件（类似于改进的Lipschitz条件）以及Tsybakov的边界条件。
• 在噪声概率可识别性与上述正则性条件联合假设下，进行一致性和快速收敛速率分析。
• 通过集中不等式和Borel-Cantelli引理推导理论保证，确保在适当的k_n尺度下实现收敛。

实验结果

研究问题

• RQ1 当标签噪声为非对称且其概率未知时，kNN分类能否实现快速收敛？
• RQ2 在极小极大意义下，未知非对称标签噪声下的学习统计难度是否等价于无噪声情形？
• RQ3 在回归函数和边界分布具有正则性条件下，鲁棒kNN分类器能否在噪声概率未知时仍保持快速收敛速率？
• RQ4 是否存在一种简单的基于kNN的最大值估计器，其假设条件显著少于现有模态估计器？
• RQ5 标准kNN为何在非对称标签噪声下失效？如何恢复其一致性？

主要发现

• 鲁棒kNN分类器在未知非对称标签噪声下可实现极小极大最优快速收敛速率，仅相差对数因子。
• 在相同正则性条件下（即回归函数的测度光滑性与Tsybakov的边界条件），该速率与无噪声情形下的最优速率一致。
• 即使已知噪声概率，标准kNN在非对称标签噪声下仍不一致，原因在于训练与测试阶段回归函数的分布发生偏移。
• 所提出的基于kNN的最大值估计器假设条件远弱于现有模态估计器，可能在噪声比例估计和随机优化中具有应用潜力。
• 理论分析证实，在给定条件下，具有未知非对称标签噪声的学习问题在统计上与无噪声情形同样困难。
• 鲁棒kNN方法在与标准kNN相同的k_n尺度（k_n/n → 0，k_n/log n → ∞）下保持一致性，但仅在额外正则性假设下才能实现快速收敛速率。