[论文解读] Classification with unknown class-conditional label noise on non-compact feature spaces

Henry W. J. Reeve, Ata Kabán|arXiv (Cornell University)|Feb 14, 2019

Machine Learning and Data Classification参考文献 30被引用 4

一句话总结

本文在非紧致度量空间中，针对未知类别条件标签噪声的非参数分类问题，建立了极小极大最优学习速率。当回归函数在极值附近快速收敛时，学习速率与无噪声情形一致；当收敛缓慢时，学习速率退化。本文提出一种自适应算法，在无需先验知晓分布参数或局部密度的情况下，实现了这些最优速率。

ABSTRACT

We investigate the problem of classification in the presence of unknown class-conditional label noise in which the labels observed by the learner have been corrupted with some unknown class dependent probability. In order to obtain finite sample rates, previous approaches to classification with unknown class-conditional label noise have required that the regression function is close to its extrema on sets of large measure. We shall consider this problem in the setting of non-compact metric spaces, where the regression function need not attain its extrema. In this setting we determine the minimax optimal learning rates (up to logarithmic factors). The rate displays interesting threshold behaviour: When the regression function approaches its extrema at a sufficient rate, the optimal learning rates are of the same order as those obtained in the label-noise free setting. If the regression function approaches its extrema more gradually then classification performance necessarily degrades. In addition, we present an adaptive algorithm which attains these rates without prior knowledge of either the distributional parameters or the local density. This identifies for the first time a scenario in which finite sample rates are achievable in the label noise setting, but they differ from the optimal rates without label noise.

研究动机与目标

• 确定在非紧致度量空间中，针对未知类别条件标签噪声的分类问题的极小极大最优学习速率。
• 分析回归函数趋近其极值的速度如何影响学习性能。
• 设计一种自适应算法，实现在未知分布参数或局部密度前提下的最优速率。
• 识别在有限样本情形下，标签噪声设置中的学习速率与无噪声设置中存在差异的情形。

提出的方法

• 作者提出一种基于密度低于阈值区域测度衰减的灵活尾部假设，避免了有界密度或有限覆盖维数等限制性假设。
• 通过分析回归函数在分布尾部的渐近行为，推导出极小极大最优学习速率（忽略对数因子）。
• 提出一种基于k-NN的自适应算法，采用数据驱动的置信区间方法选择最优k值，确保在未知底层分布前提下的收敛性。
• 该方法依赖于在Hölder连续性和最小质量假设下k-NN回归的高概率界，结合并集界和集中不等式。
• 算法采用置信区间交集策略，选择一个在偏差与方差之间取得平衡的稳定k值。
• 理论分析证明，即使在未知标签噪声的情况下，该算法仍能实现极小极大最优速率（忽略对数因子）。

实验结果

研究问题

• RQ1 在回归函数尾部分布行为满足何种条件时，标签噪声设置下的学习速率与无噪声设置下的学习速率一致？
• RQ2 在非紧致特征空间中存在未知类别条件标签噪声时，能否实现有限样本学习速率？
• RQ3 当回归函数在尾部分布中趋近其极值更加缓慢时，收敛速率是否会退化？
• RQ4 能否设计一种自适应算法，在未知分布密度或参数前提下实现最优速率？
• RQ5 是否存在一种情形，使得在标签噪声下的学习速率与无噪声情况下的最优速率存在差异？

主要发现

• 极小极大最优学习速率在很大程度上取决于回归函数在分布尾部趋近其极值的速度。
• 当回归函数在极值附近快速趋近时，最优学习速率与无噪声情形一致（忽略对数因子）。
• 若回归函数在极值附近趋近缓慢，则分类性能必然退化，学习速率变为次优。
• 提出一种自适应算法，可在未知分布参数或局部密度前提下实现极小极大最优速率。
• 本文首次识别出一种在标签噪声下可实现有限样本速率，但与无噪声情况下的最优速率存在差异的情形。
• 作为分析的副产品，提出了一种简单且自适应的非紧致域上函数最大值估计方法。