[论文解读] Evaluating and Boosting Uncertainty Quantification in Classification

Xiaoyang Huang, Jiancheng Yang+4 more|arXiv (Cornell University)|Sep 13, 2019

Anomaly Detection Techniques and Applications参考文献 14被引用 6

一句话总结

本文提出AUCCC，一种无需阈值、鲁棒的不确定性量化（UQ）评估指标，独立于分类准确率。该方法引入了基于知识蒸馏的不确定性提炼（UDist）方法，通过训练置信度头以模仿深度集成模型的预测，从而提升UQ性能，在CIFAR-10和ChestX-ray14数据集上相比基线模型最高实现0.7%的AUCCC增益。

ABSTRACT

Emergence of artificial intelligence techniques in biomedical applications urges the researchers to pay more attention on the uncertainty quantification (UQ) in machine-assisted medical decision making. For classification tasks, prior studies on UQ are difficult to compare with each other, due to the lack of a unified quantitative evaluation metric. Considering that well-performing UQ models ought to know when the classification models act incorrectly, we design a new evaluation metric, area under Confidence-Classification Characteristic curves (AUCCC), to quantitatively evaluate the performance of the UQ models. AUCCC is threshold-free, robust to perturbation, and insensitive to the classification performance. We evaluate several UQ methods (e.g., max softmax output) with AUCCC to validate its effectiveness. Furthermore, a simple scheme, named Uncertainty Distillation (UDist), is developed to boost the UQ performance, where a confidence model is distilling the confidence estimated by deep ensembles. The proposed method is easy to implement; it consistently outperforms strong baselines on natural and medical image datasets in our experiments.

研究动机与目标

• 为解决在分类任务中，尤其是在医学AI领域，缺乏统一、量化的不确定性量化（UQ）评估指标的问题。
• 将UQ评估与分类性能解耦，实现不同方法之间的公平比较。
• 通过一种简单、可扩展的蒸馏框架，提升置信度估计，从而改进UQ性能。
• 在自然图像和医学图像数据集上（包括分布外泛化能力）验证所提出的评估指标与方法。

提出的方法

• 提出置信度-分类特征分析（CCC），一种将准确预测与错误预测分别视为正负类的判别性评估框架。
• 引入AUCCC作为CCC曲线下方面积，一种无需阈值、对微小扰动鲁棒且对分类准确率不敏感的指标。
• 开发不确定性提炼（UDist），一种级联模型结构，其中置信度头通过知识蒸馏学习模仿深度集成模型的置信度输出。
• 在蒸馏训练过程中使用温度缩放和集成平均，以稳定不确定性估计。
• 将该方法应用于图像分类和多标签医学影像（ChestX-ray14）任务，采用标准训练协议。
• 采用交叉熵和Brier评分作为基线指标，但指出这些指标对微小置信度扰动敏感，从而论证AUCCC的必要性。

实验结果

研究问题

• RQ1 能否开发一种统一的、量化的指标，以公平评估不同模型在不确定性量化方面的表现，且独立于分类准确率？
• RQ2 如何以一种鲁棒、可扩展且与现有深度学习流水线兼容的方式改进不确定性量化？
• RQ3 从深度集成模型蒸馏知识是否能获得比集成模型本身更优的不确定性估计？
• RQ4 所提出方法在医学影像中的分布内校准与分布外泛化能力表现如何？

主要发现

• 在NIH ChestX-ray14数据集上，UDist相较于DenseNet和Deep Ensemble分别实现0.7%和0.17%的AUCCC增益，表明在不确定性量化方面具有持续改进效果。
• 在CIFAR-10与SVHN之间的分布外检测任务中，UDist实现98.18%的I/O AUROC和98.25%的AUCCC，优于基线Deep Ensemble的97.76%和98.04%。
• 在ChestX-ray14与OCT2017之间的分布外检测任务中，UDist实现69.42%的I/O AUROC和71.77%的AUCCC，优于基线Deep Ensemble的68.09%和70.61%。
• AUCCC始终优于I/O AUROC，表明AUCCC更能通过分别评估准确率与置信度来捕捉分布内校准性能。
• 即使基础模型存在过度自信问题，该方法依然有效，表明其在不确定性估计中对过拟合具有鲁棒性。
• 级联模型结构虽有效，但在多标签设置下存在特征融合退化问题，提示需改进输入融合机制。