[论文解读] Learning to Abstain from Binary Prediction

Akshay Balsubramani|arXiv (Cornell University)|Feb 25, 2016

Machine Learning and Algorithms参考文献 7被引用 8

一句话总结

本文提出了一种针对可拒绝预测的二分类器的极小化极大最优算法，在半监督设定下平衡误差最小化与拒绝率降低。通过凸优化刻画了拒绝率与误差率之间的精确帕累托前沿，实现了在所有允许的拒绝率下性能的理论保证，且具备高效可扩展的特性。

ABSTRACT

A binary classifier capable of abstaining from making a label prediction has two goals in tension: minimizing errors, and avoiding abstaining unnecessarily often. In this work, we exactly characterize the best achievable tradeoff between these two goals in a general semi-supervised setting, given an ensemble of predictors of varying competence as well as unlabeled data on which we wish to predict or abstain. We give an algorithm for learning a classifier in this setting which trades off its errors with abstentions in a minimax optimal manner, is as efficient as linear learning and prediction, and is demonstrably practical. Our analysis extends to a large class of loss functions and other scenarios, including ensembles comprised of specialists that can themselves abstain.

研究动机与目标

• 刻画具有拒绝选项的二分类中拒绝率与误差率之间的精确权衡。
• 开发一种高效可扩展的算法，实现在该权衡下的极小化极大最优性能。
• 通过在半监督学习框架中引入未标记数据和集成预测器，扩展现有理论。
• 将两种主流的拒绝模型——基于成本的拒绝与率约束拒绝——统一于单一最优框架之下。
• 提供一种实用的基于凸优化的学习拒绝分类器的方法，并附带理论保证。

提出的方法

• 该方法将学习问题表述为对分类器权重 σ 的凸优化，通过最小化一个平衡误差与拒绝的松弛函数 γ(σ, λ)。
• 采用 L1-正则化优化以实现极小化极大最优性，通过对偶变量将约束问题转化为无约束问题。
• 该算法利用标记数据估计预测器能力，利用未标记数据指导拒绝决策，从而实现半监督学习。
• 引入基于置信度分数的软拒绝区域，与最大间隔 SVM 不同，其鼓励低置信度以应对不确定性。
• 该框架支持特征层面的专业化，即每个特征作为专家，在其值为零时拒绝预测。
• 该方法通过随机优化（如共轭梯度）实现，并利用交叉验证调整正则化参数，确保可扩展性与实用性。

实验结果

研究问题

• RQ1 在具有集成预测器和未标记数据的半监督设定下，拒绝率与误差率之间的精确帕累托前沿是什么？
• RQ2 能否学习到一种分类器，实现在拒绝与误差之间的极小化极大最优权衡，而无需依赖启发式方法？
• RQ3 所提出方法的性能与标准基线（如基于置信度阈值的 SVM 或双铰链损失）相比如何？
• RQ4 该框架在基于成本的拒绝与率约束拒绝两种模型下是否仍保持最优？
• RQ5 该方法能否在具有二值特征的真实世界数据集上实现高效扩展与实际应用？

主要发现

• 本文建立了拒绝率与误差率之间的精确帕累托前沿，其参数化形式为允许的拒绝率 α，该前沿在极小化极大最优性下不可改进。
• 最优分类器通过凸优化推导得出，其解可表示为最小化正则化松弛函数 γ(σ, λ) + ε‖σ‖₁。
• 该方法在所有拒绝率下均实现极小化极大最优性，理论保证优于经验风险最小化与标准基线。
• 实验结果表明，所提方法在性能上与 SVM 和双铰链损失基线相当，且在部分数据集上表现更优（例如在 'Spec' 变体中，mushroom 数据集于 c=0.2 时，拒绝损失为 0.00 vs. 0.003）。
• 利用特征作为专家可略微提升性能，表明结构化拒绝机制具有实际效用。
• 该框架具备可扩展性与可解释性，由于最优解的基于置信度分数的结构，其结果可应用于级联模型与主动学习。