[论文解读] Double Ramp Loss Based Reject Option Classifier

Naresh Manwani, Kalpit Desai+2 more|arXiv (Cornell University)|Nov 26, 2013

Machine Learning and Algorithms参考文献 12被引用 5

一句话总结

本文提出了一种双梯形损失函数，作为拒绝选项分类中0-d-1损失的更紧致的连续上界，通过差分凸（DC）规划实现鲁棒风险最小化。实验表明，该方法在处理异常值和标签噪声方面优于当前最先进方法，性能更优。

ABSTRACT

We consider the problem of learning reject option classifiers. The goodness of a reject option classifier is quantified using $0-d-1$ loss function wherein a loss $d \in (0,.5)$ is assigned for rejection. In this paper, we propose {\em double ramp loss} function which gives a continuous upper bound for $(0-d-1)$ loss. Our approach is based on minimizing regularized risk under the double ramp loss using {\em difference of convex (DC) programming}. We show the effectiveness of our approach through experiments on synthetic and benchmark datasets. Our approach performs better than the state of the art reject option classification approaches.

研究动机与目标

• 解决现有凸代理损失（如广义合页损失、双合页损失）在拒绝选项分类中的局限性，这些损失提供松散的上界且对异常值缺乏鲁棒性。
• 开发一种非凸损失函数，以更紧密地作为0-d-1损失的上界，提升在噪声数据下的泛化能力和鲁棒性。
• 将学习问题表述为在双梯形损失下的正则化风险最小化，实现广义贝叶斯分类器的一致估计。
• 在合成数据集和基准数据集上验证所提方法的有效性，展示在拒绝率与准确率之间更优的权衡。

提出的方法

• 提出双梯形损失函数 $ L_{\text{DR}} $，为拒绝选项分类中使用的非凸0-d-1损失函数提供连续且更紧致的上界。
• 将学习问题表述为在 $ L_{\text{DR}} $ 下的正则化风险最小化，该问题被建模为差分凸（DC）优化问题，可通过DC算法（DCA）求解。
• 使用核方法（如RBF核）将方法扩展至非线性分类器，实现灵活的决策边界与拒绝边界。
• 通过最小化 $ L_{\text{DR}} $ 下的经验风险，联合优化分类器与拒绝阈值 $ \rho $，确保与广义贝叶斯分类器的一致性。
• 应用DC规划技术处理损失的非凸性，实现收敛至局部最优解，并具备理论保证。
• 将双梯形损失集成到结构化学习框架中，平衡拒绝率与分类准确率。

实验结果

研究问题

• RQ1 非凸损失函数是否能为0-d-1损失提供比广义合页损失、双合页损失等现有凸代理损失更紧致的上界？
• RQ2 在拒绝选项分类中，最小化双梯形损失下的正则化风险是否能带来比基于凸损失的方法更好的泛化能力与鲁棒性？
• RQ3 与当前最先进方法相比，该方法在噪声或异常值频发的数据集上的拒绝率与准确率表现如何？
• RQ4 在适当条件下，基于双梯形损失的分类器是否与广义贝叶斯分类器保持一致性？
• RQ5 该方法能否通过基于核的公式有效学习非线性决策边界与拒绝边界？

主要发现

• 双梯形损失相较于广义合页损失、双合页损失等凸代理损失，对0-d-1损失提供了更紧致的上界，尤其在拒绝区域表现更优。
• 在合成数据集1上，双梯形损失在 $ d=0.1 $ 时达到风险 0.018 ± 0.004，未拒绝样本的准确率为 97.26 ± 3.8%，优于双合页损失。
• 在合成数据集2上，双梯形损失在 $ d=0.05 $ 时达到风险 0.025 ± 0.002，未拒绝样本的准确率为 98.94 ± 0.31%，显著优于双合页损失。
• 在Ionosphere数据集上，双梯形损失在 $ d=0.05 $ 时达到风险 0.031 ± 0.002，未拒绝样本的准确率为 98.33 ± 0.49%，而双合页损失的风险更高、准确率更低。
• 在帕金森病数据集上，双梯形损失在 $ d=0.5 $ 时达到风险 0.133 ± 0.009，未拒绝样本的准确率为 86.65 ± 0.94%，拒绝率为零，优于双合页损失在风险与准确率上的表现。
• 在所有数据集和 $ d $ 值下，基于双梯形损失的分类器在未拒绝样本上始终实现更低风险与更高准确率，展现出更优的实证性能。