[论文解读] Consistent Algorithms for Multiclass Classification with a Reject Option

Harish G. Ramaswamy, Ambuj Tewari+1 more|arXiv (Cornell University)|May 15, 2015

Face and Expression Recognition参考文献 23被引用 10

一句话总结

本文提出了多分类分类中带有拒绝选项的一致性算法，其中分类器可按成本 α 拒绝预测。通过在 Crammer-Singer 和一对一（one-vs-all）合页损失上使用修改后的预测器，将二分类一致性方法推广至 n 类问题，并提出一种新颖的低维凸代理（BEP），该代理在 α = 1/2 时实现一致性，且在效率和可扩展性方面优于现有方法。

ABSTRACT

We consider the problem of $n$-class classification ($n\geq 2$), where the classifier can choose to abstain from making predictions at a given cost, say, a factor $α$ of the cost of misclassification. Designing consistent algorithms for such $n$-class classification problems with a `reject option' is the main goal of this paper, thereby extending and generalizing previously known results for $n=2$. We show that the Crammer-Singer surrogate and the one vs all hinge loss, albeit with a different predictor than the standard argmax, yield consistent algorithms for this problem when $α=\frac{1}{2}$. More interestingly, we design a new convex surrogate that is also consistent for this problem when $α=\frac{1}{2}$ and operates on a much lower dimensional space ($\log(n)$ as opposed to $n$). We also generalize all three surrogates to be consistent for any $α\in[0, \frac{1}{2}]$.

研究动机与目标

• 正式化带有拒绝选项的多分类分类，引入一种新评估指标——abstain(α) 损失。
• 将二分类的一致性学习理论扩展至带有拒绝选项的多分类分类。
• 设计一种在 log₂(n)-维空间中运行的新凸代理，提升相对于 n 维方法的效率。
• 证明在 α = 1/2 时，现有代理（Crammer-Singer、OVA 合页）在采用修改后的预测规则下的一致性。
• 将全部三种代理推广至对任意 α ∈ [0, 1/2] 保持一致性。

提出的方法

• 提出 abstain(α) 损失函数，对正确预测赋值 0，对误分类赋值 1，对拒绝预测赋值 α。
• 将贝叶斯最优分类器 h*α(x) 定义为：仅当 max_y px(y) ≥ 1−α 时预测 argmax_y px(y)，否则拒绝。
• 证明 Crammer-Singer 和一对一合页损失在与基于置信度阈值的修改后预测器结合时，可产生一致性算法。
• 引入二进制编码预测（BEP）代理，一种在 log₂(n) 维空间中运行的凸、分段线性代理，通过类别标签的二进制编码实现。
• 推导出将 abstain 损失与 BEP、Crammer-Singer 和 OVA 代理关联的过剩风险界，证明在适当阈值下的一致性。
• 通过调整预测器中的阈值规则，将全部三种代理推广至对任意 α ∈ [0, 1/2] 保持一致性。

实验结果

研究问题

• RQ1 能否使用凸代理实现一致性的多分类拒绝选项分类，从而扩展已知的二分类结果？
• RQ2 能否构建一种低维代理（log₂(n) 而非 n 维），使其在 abstain(1/2) 损失下保持一致性？
• RQ3 标准多分类代理（如 Crammer-Singer 和一对一合页损失）在修改以支持拒绝选项后是否仍保持一致性？
• RQ4 在准确率、训练时间和可扩展性方面，新型 BEP 代理相较于现有方法表现如何？
• RQ5 能否将这些代理的一致性扩展至所有 α ∈ [0, 1/2]，而不仅限于 α = 1/2？

主要发现

• BEP 代理在 log₂(n)-维空间中运行，实现了对 abstain(1/2) 损失的一致性，显著降低了模型复杂度。
• Crammer-Singer 和一对一合页损失在与修改后的预测器（基于置信度阈值）结合时，可产生一致性算法，尽管在标准多分类分类中本身不一致。
• 由于仅需学习 log₂(n) 个函数，BEP 代理在训练速度上优于 CS 和 OVA，速度提升因子可能随 n 增大而增加。
• 实验结果表明，BEP 在准确率上与 OVA 和 CS 相当或更优，尤其在 20% 和 40% 拒绝率下表现最佳，多数数据集误差最低。
• 过剩风险界在极端阈值下失效（如 CS/BEP 的 τ=0，OVA 的 τ=−1），证实了对阈值选择的理论限制。
• BEP 代理在实际中最快，大型数据集（如 covertype）上的训练时间相比 CS 最多减少 7 倍，相比 OVA 最多减少 3 倍。