[论文解读] Classification with Rejection Based on Cost-sensitive Classification

Nontawat Charoenphakdee, Zhenghang Cui+2 more|arXiv (Cornell University)|Oct 22, 2020

Machine Learning and Data Classification参考文献 55被引用 8

一句话总结

本文提出了一种基于代价敏感分类的新方法，用于分类与拒绝，避免估计类别后验概率，从而在理论上保证适用于任意分类校准损失的前提下，实现更高的准确率并支持灵活的损失选择（包括非凸损失）。该方法通过集成多个代价敏感分类器，实现与Chow规则一致的最优拒绝决策。

ABSTRACT

The goal of classification with rejection is to avoid risky misclassification in error-critical applications such as medical diagnosis and product inspection. In this paper, based on the relationship between classification with rejection and cost-sensitive classification, we propose a novel method of classification with rejection by learning an ensemble of cost-sensitive classifiers, which satisfies all the following properties: (i) it can avoid estimating class-posterior probabilities, resulting in improved classification accuracy, (ii) it allows a flexible choice of losses including non-convex ones, (iii) it does not require complicated modifications when using different losses, (iv) it is applicable to both binary and multiclass cases, and (v) it is theoretically justifiable for any classification-calibrated loss. Experimental results demonstrate the usefulness of our proposed approach in clean-labeled, noisy-labeled, and positive-unlabeled classification.

研究动机与目标

• 解决医疗诊断和产品检测等高风险应用中的误分类风险问题。
• 提出一种无需估计类别后验概率的分类与拒绝方法。
• 在无需复杂修改的情况下，支持灵活的损失函数，包括非凸损失函数。
• 确保在二分类和多分类设置下，任意分类校准损失函数均具有理论依据。
• 通过代价敏感学习实现与Chow拒绝规则一致，确保最优决策边界。

提出的方法

• 将分类与拒绝问题形式化为代价敏感分类问题，其中拒绝被视为具有代价参数c的有效输出类别。
• 使用一组代价敏感分类器，每个分类器均通过最小化基于间隔的损失函数ϕ进行训练。
• 定义最终决策规则为：若max_y g_y^*(x) > 0，则f(x; g*) = argmax_y g_y^*(x)；否则拒绝（输出⊥）。
• 利用分类校准的间隔损失与代价敏感分类的贝叶斯最优解之间的理论联系。
• 确保加权风险最小化问题的最优解g*与代价敏感学习下的贝叶斯最优分类器一致。
• 证明当ϕ为分类校准时，所得决策规则f(x; g*)恰好与Chow的最优拒绝规则一致。

实验结果

研究问题

• RQ1 分类与拒绝能否被有效建模为代价敏感分类问题，而无需估计后验概率？
• RQ2 所提出的方法是否在任意分类校准损失函数下保持理论最优性？
• RQ3 该方法是否能在无需复杂重参数化或修改的情况下支持非凸损失函数？
• RQ4 在标签干净、标签噪声和正例-未标记样本设置下，该方法表现如何？
• RQ5 由代价敏感分类器集成所得的决策规则是否等价于Chow的最优拒绝规则？

主要发现

• 所提方法通过直接从代价敏感分类器学习，实现最优分类与拒绝，避免了后验概率估计的需要。
• 该方法具有理论保证：当间隔损失ϕ为分类校准时，所得决策规则f(x; g*)恰好与Chow的最优拒绝规则一致。
• 该方法支持凸与非凸损失函数，无需算法修改，支持灵活的模型设计。
• 实验结果表明，该方法在干净标签、噪声标签和正例-未标记数据集上均表现优异，展现出强鲁棒性。
• 该方法保持理论一致性：若损失未经过分类校准，决策规则可能与Chow规则不一致，从而证明了校准的必要性。
• 该方法适用于二分类与多分类任务，无需结构修改。