[论文解读] A Flexible and Adaptive Framework for Abstention Under Class Imbalance

Avanti Shrikumar, Amr M. Alexandari+1 more|arXiv (Cornell University)|Feb 20, 2018

Imbalanced Data Classification Techniques参考文献 37被引用 7

一句话总结

本文提出了一种灵活的、度量感知的弃权框架，利用校准的概率估计来优化AUC和加权Cohen's Kappa等关键不平衡数据度量的性能。通过建模弃权对这些度量的影响，该方法实现了高效、自适应的弃权策略，通过标签偏移下的域适应技术，能够在类别不平衡程度不同的测试分布上实现泛化。

ABSTRACT

In practical applications of machine learning, it is often desirable to identify and abstain on examples where the model's predictions are likely to be incorrect. Much of the prior work on this topic focused on out-of-distribution detection or performance metrics such as top-k accuracy. Comparatively little attention was given to metrics such as area-under-the-curve or Cohen's Kappa, which are extremely relevant for imbalanced datasets. Abstention strategies aimed at top-k accuracy can produce poor results on these metrics when applied to imbalanced datasets, even when all examples are in-distribution. We propose a framework to address this gap. Our framework leverages the insight that calibrated probability estimates can be used as a proxy for the true class labels, thereby allowing us to estimate the change in an arbitrary metric if an example were abstained on. Using this framework, we derive computationally efficient metric-specific abstention algorithms for optimizing the sensitivity at a target specificity level, the area under the ROC, and the weighted Cohen's Kappa. Because our method relies only on calibrated probability estimates, we further show that by leveraging recent work on domain adaptation under label shift, we can generalize to test-set distributions that may have a different class imbalance compared to the training set distribution. On various experiments involving medical imaging, natural language processing, computer vision and genomics, we demonstrate the effectiveness of our approach. Source code available at this https URL. Colab notebooks reproducing results available at this https URL.

研究动机与目标

• 填补现有弃权策略在优化AUC和Cohen's Kappa等关键度量（而非仅top-k准确率）方面的空白，这些度量在不平衡数据集中尤为重要。
• 开发一种框架，实现针对特定度量的弃权策略，且无需在推理时重新训练或访问真实标签。
• 通过标签偏移适应技术，使框架能够泛化到与训练数据具有不同类别不平衡程度的测试分布。
• 提供计算高效的算法，用于在弃权条件下优化敏感性在目标特异性下的表现、AUC以及加权Cohen's Kappa。
• 在医学影像、自然语言处理、计算机视觉和基因组学等多个领域中，证明该框架的有效性。

提出的方法

• 利用校准的概率估计作为真实类别标签的代理，以估计若对某一样例进行弃权，度量值可能产生的期望变化。
• 通过建模弃权下的期望度量提升，制定针对特定度量的弃权策略，从而实现对AUC、加权Kappa以及固定特异性下敏感性的优化。
• 使用度量变化的可微分近似，推导出针对每种度量的高效、闭式解弃权阈值。
• 在标签偏移条件下整合域适应技术，使弃权策略能够适应与训练集类别分布不同的测试集。
• 训练模型以生成校准良好的概率输出，确保在推理过程中对度量估计的代理估计具有可靠性。
• 端到端应用该框架，推理过程中仅依赖预测概率，无需访问真实标签。

实验结果

研究问题

• RQ1 在不平衡数据设置中，针对AUC和加权Cohen's Kappa优化的弃权策略是否能优于基于top-k准确率的方法？
• RQ2 如何使弃权策略在保持计算高效的同时，适应不同的性能度量？
• RQ3 单一弃权框架在具有不同类别不平衡程度的测试分布上，其泛化能力能达到何种程度？
• RQ4 在无真实标签的情况下，校准概率是否能可靠估计弃权带来的度量变化？
• RQ5 在多样化的机器学习领域中，该框架与现有弃权方法相比表现如何？

主要发现

• 与基于top-k准确率的弃权策略相比，所提出的框架在不平衡数据集上显著提升了AUC和加权Cohen's Kappa值。
• 得益于标签偏移适应，该方法能有效泛化到与训练集类别分布不同的测试集。
• 针对AUC和加权Cohen's Kappa推导出的弃权策略，即使在所有样本均为分布内的情况下，其度量值也高于基线方法。
• 该框架保持了高度的计算效率，仅依赖校准模型输出即可实现实时弃权决策。
• 在医学影像、自然语言处理、计算机视觉和基因组学中的实验表明，该框架在多种数据模态中均实现了稳定的性能提升。
• 源代码和Colab笔记本已公开，支持框架的可复现性与进一步扩展。