[论文解读] Consistency of plug-in confidence sets for classification in semi-supervised learning

Christophe Denis, Mohamed Hebiri|arXiv (Cornell University)|Jul 26, 2015

Machine Learning and Algorithms参考文献 25被引用 13

一句话总结

本文提出了一种适用于半监督分类的即插即用置信集方法，可精确控制拒绝概率，并限制分类实例上的误分类风险。通过基于估计的条件概率及其经验分布构建置信集，该方法在弱假设下实现了渐近一致性和有限样本有效性，为现有的合流预测与拒绝选项框架提供了一种理论基础坚实的替代方案。

ABSTRACT

Confident prediction is highly relevant in machine learning; for example, in applications such as medical diagnoses, wrong prediction can be fatal. For classification, there already exist procedures that allow to not classify data when the confidence in their prediction is weak. This approach is known as classification with reject option. In the present paper, we provide new methodology for this approach. Predicting a new instance via a confidence set, we ensure an exact control of the probability of classification. Moreover, we show that this methodology is easily implementable and entails attractive theoretical and numerical properties.

研究动机与目标

• 解决现有带拒绝选项分类方法缺乏对拒绝概率和误分类风险控制的局限性。
• 开发一种方法，确保精确控制拒绝概率，同时限制分类样本上的误分类风险。
• 提供一种理论基础坚实、可实现的方法，避免合流预测器和固定参数拒绝选项框架的缺点。
• 在弱正则性条件下建立所提置信集的一致性，确保在半监督学习设置中具有可靠的性能。

提出的方法

• 该方法为给定分类器 s 构建置信集 Γs(X) ∈ {{0}, {1}, {0,1}}，其中 {0,1} 表示拒绝。
• 基于从估计的条件概率 η̂(x) = P(Y=1|X=x) 导出的估计得分函数 f̂(x) 使用即插即用方法。
• 置信集通过 f̂(X) 的经验累积分布函数 F̂f 定义，当 F̂f(f̂(X)) ≥ 1−ε 时发生拒绝。
• 该方法确保为 ε 水平的置信集，即在弱假设下，P(Γ*(X) = {0,1}) = ε 精确成立。
• 利用 Dvoretzky-Kiefer-Wolfowitz 不等式推导出有限样本界限，以控制经验分布函数与真实分布函数之间的偏差。
• 通过证明估计置信集的风险随样本量增加而收敛到 oracle 置信集的风险，建立理论一致性。

实验结果

研究问题

• RQ1 一种带拒绝选项的分类方法能否在保持误分类风险有界的同时，对拒绝概率实现精确控制？
• RQ2 在半监督学习中，如何构建置信集以确保有限样本有效性与渐近一致性？
• RQ3 条件概率估计误差对即插即用置信集性能有何影响？
• RQ4 与合流预测和固定参数拒绝选项框架相比，该方法在理论保证方面表现如何？

主要发现

• 所提出的即插即用置信集实现了拒绝概率的精确控制：在弱假设下，P(Γ*(X) = {0,1}) = ε。
• 该方法确保了分类实例上误分类风险的有界性，提供了可靠的置信度度量。
• 估计置信集的风险以 O(N⁻¹/²) 的速率收敛到 oracle 置信集的风险，其中 N 为标记样本数量。
• 通过 Dvoretzky-Kiefer-Wolfowitz 不等式控制得分经验分布与真实分布函数之间的偏差，从而获得有限样本界限。
• 该方法对 η̂(X) 的估计误差具有鲁棒性，当 n → ∞ 时，风险差收敛至零。
• 通过确保拒绝概率恰好为 ε，该方法避免了在 ε 过小时合流预测中常见的过度拒绝问题。