[论文解读] Active Learning for Cost-Sensitive Classification

Akshay Krishnamurthy, Alekh Agarwal+3 more|arXiv (Cornell University)|Mar 3, 2017

Machine Learning and Algorithms被引用 18

一句话总结

本文提出 COAL，一种用于代价敏感多分类的主动学习算法，通过仅查询潜在低代价的标签来减少标注工作量。通过回归到特定标签的代价并仅关注有希望的候选标签，COAL 在测试代价和标注效率方面显著优于被动学习和主动学习基线方法，且对任何使用平方损失优化的回归族均具有坚实的理论保证。

ABSTRACT

We design an active learning algorithm for cost-sensitive multiclass classification: problems where different errors have different costs. Our algorithm, COAL, makes predictions by regressing to each label’s cost and predicting the smallest. On a new example, it uses a set of regressors that perform well on past data to estimate possible costs for each label. It queries only the labels that could be the best, ignoring the sure losers. We prove COAL can be efficiently implemented for any regression family that admits squared loss optimization; it also enjoys strong guarantees with respect to predictive performance and labeling effort. Our experiment with COAL show significant improvements in labeling effort and test cost over passive and active baselines.

研究动机与目标

• 为解决在多分类任务中，各类别误分类代价不同的情况下减少标注工作量的挑战。
• 设计一种主动学习框架，智能选择需查询的标签，避免冗余或潜力较低的标签。
• 确保在任意支持平方损失优化的回归族下，对预测性能和标注效率均具备强理论保证。
• 通过实证结果证明 COAL 在测试代价和标注工作量方面优于被动学习和主动学习基线方法。

提出的方法

• COAL 通过回归每个类别的代价并选择预测代价最低的标签来预测最优标签。
• 它使用一组基于历史数据训练的回归器，为新样本的每个标签估计其代价。
• 该算法仅对可能成为最优解的标签进行查询，忽略明显次优（确定劣质）的标签。
• COAL 可通过任何支持平方损失优化的回归族高效实现。
• 它利用基于代价感知主动采样的理论保证，实现预测性能提升和标注工作量减少。

实验结果

研究问题

• RQ1 主动学习能否有效适配到代价敏感多分类任务中，以减少标注工作量？
• RQ2 如何高效识别并仅查询最具潜力的标签，避免对明显次优选项进行昂贵查询？
• RQ3 在此设置下，可为预测性能和标注效率提供哪些理论保证？
• RQ4 在实际应用中，COAL 与被动学习和主动学习基线方法相比，在测试代价和标注工作量方面表现如何？

主要发现

• 与被动学习及现有主动学习基线相比，COAL 显著减少了标注工作量。
• COAL 在测试代价方面优于被动学习和主动学习基线，表明其在代价敏感评估下具备更优的预测性能。
• 由于与平方损失优化兼容，COAL 的效率在不同回归族中均保持稳定。
• 通过仅关注潜在最优标签，COAL 避免了对‘确定劣质’标签的查询，从而实现更高效的标注流程。