[论文解读] Confidence sets with expected sizes for Multiclass Classification

Christophe Denis, Mohamed Hebiri|arXiv (Cornell University)|Aug 31, 2016

Machine Learning and Algorithms参考文献 11被引用 12

一句话总结

该论文提出了一种用于多分类的新型方法，通过输出置信集（即预测标签的集合）而非单一标签，确保这些置信集的期望大小控制在用户指定的水平β。通过最小化凸代理风险并利用无标签数据进行校准，该方法在Tsybakov边缘条件下实现了最优分类误差率，且收敛速率与类别数K呈线性关系。

ABSTRACT

Multiclass classification problems such as image annotation can involve a large number of classes. In this context, confusion between classes can occur, and single label classification may be misleading. We provide in the present paper a general device that, given an unlabeled dataset and a score function defined as the minimizer of some empirical and convex risk, outputs a set of class labels, instead of a single one. Interestingly, this procedure does not require that the unlabeled dataset explores the whole classes. Even more, the method is calibrated to control the expected size of the output set while minimizing the classification risk. We show the statistical optimality of the procedure and establish rates of convergence under the Tsybakov margin condition. It turns out that these rates are linear on the number of labels. We apply our methodology to convex aggregation of confidence sets based on the V-fold cross validation principle also known as the superlearning principle. We illustrate the numerical performance of the procedure on real data and demonstrate in particular that with moderate expected size, w.r.t. the number of labels, the procedure provides significant improvement of the classification risk.

研究动机与目标

• 解决在高维、多分类问题中因类别混淆而产生的单标签分类方法的局限性。
• 开发一种输出置信集（多个预测标签）而非单个标签的框架，以提高鲁棒性和可解释性。
• 将置信集的期望大小控制在约β，以平衡精确性与覆盖率。
• 通过在Tsybakov边缘条件下最小化分类风险，确保统计最优性。
• 通过使用有标签数据进行得分估计、无标签数据进行分布校准，实现半监督学习。

提出的方法

• 将置信集Γ定义为从输入X到类别标签集合Y = {1,…,K}的函数，其期望大小E[|Γ(X)|] ≈ β。
• 引入一个凸代理风险函数，以替代多分类中的非凸0/1损失，从而实现高效优化。
• 采用两步法：首先，基于有标签数据通过经验风险最小化估计得分函数f_k(X)；其次，利用无标签数据对得分的累积分布进行校准。
• 通过包含类别k在Γ(X)中，当f_k(X)的估计累积分布函数超过β时，构建置信集。
• 应用V折交叉验证聚合多个置信集，将超学习原理推广至多分类设置。
• 推导出一个Oracle不等式，将经验风险最小化器与在Tsybakov边缘假设下的最优置信集联系起来。

实验结果

研究问题

• RQ1 如何构建多分类中的置信集，以控制其期望大小并最小化分类误差？
• RQ2 在Tsybakov边缘条件下，此类置信集的统计最优性如何？
• RQ3 该方法能否以半监督方式实现，仅使用无标签数据进行校准？
• RQ4 通过V折交叉验证聚合置信集，相较于单个模型，性能提升如何？
• RQ5 所提出方法的收敛速率是多少，其随类别数K的扩展关系如何？

主要发现

• 所提方法在Tsybakov边缘条件下实现了最优分类误差率，收敛速率与类别数K呈线性关系。
• 置信集的期望大小被控制在β，且该方法确保经验置信集在满足此约束下最小化分类风险。
• Oracle不等式表明，经验置信集的超额风险受得分函数类复杂度和样本大小相关项的有界。
• 该方法为半监督学习：有标签数据用于训练得分函数，无标签数据用于估计累积分布函数，从而在无需完整类别覆盖的情况下实现校准。
• 通过V折交叉验证（超学习）进行聚合，即使在期望集合大小适中时，也能在真实数据集上实现一致且改进的性能。
• 数值实验表明，相较于类别数，使用中等期望大小的置信集可显著降低分类风险。