[论文解读] Classification Confidence Estimation with Test-Time Data-Augmentation

Yuval Bahat, Gregory Shakhnarovich|arXiv (Cornell University)|Jun 30, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用 8

一句话总结

本文提出了一种用于分类置信度估计的新型测试时数据增强方法，通过在输入图像上应用语义保持的图像变换，并聚合这些变体的分类器输出以估计预测的可靠性。该方法在不微调的情况下，在ImageNet及其他基准上实现了最先进性能，为视觉模型中的不确定性估计提供了一种即插即用的解决方案。

ABSTRACT

Machine learning plays an increasingly significant role in many aspects of our lives (including medicine, transportation, security, justice and other domains), making the potential consequences of false predictions increasingly devastating. These consequences may be mitigated if we can automatically flag such false predictions and potentially assign them to alternative, more reliable mechanisms, that are possibly more costly and involve human attention. This suggests the task of detecting errors, which we tackle in this paper for the case of visual classification. To this end, we propose a novel approach for classification confidence estimation. We apply a set of semantics-preserving image transformations to the input image, and show how the resulting image sets can be used to estimate confidence in the classifier's prediction. We demonstrate the potential of our approach by extensively evaluating it on a wide variety of classifier architectures and datasets, including ResNext/ImageNet, achieving state of the art performance. This paper constitutes a significant revision of our earlier work in this direction (Bahat & Shakhnarovich, 2018).

研究动机与目标

• 为解决在安全关键应用中防止因错误分类而导致高昂成本的可靠置信度估计需求。
• 在测试时无法获取真实标签的情况下，估计场景特定的分类器准确率。
• 开发一种可与任意预训练分类器配合使用的方法，无需架构修改或内部访问权限。
• 通过利用变换图像集作为局部分布不确定性代理，提升错误检测性能。
• 引入一种度量改进方法，以增强置信度估计评估的可解释性和信息量。

提出的方法

• 对单个输入图像应用一组语义保持的图像变换（例如翻转、平移）以生成合成图像集。
• 利用分类器在所有变换图像上的输出，通过聚合计算置信度分数，无需真实标签。
• 提出一种结合新型排序算法的自助法技术，以进一步提升置信度估计性能。
• 通过加权平均或投票机制聚合变换图像上的预测结果，以估计可靠性。
• 引入一种改进的评估度量，以增强置信度估计性能评估的可解释性和信息量。
• 仅在推理时应用该方法，无需微调或修改基础分类器。

实验结果

研究问题

• RQ1 使用语义保持变换的测试时数据增强是否能提升图像分类器的置信度估计？
• RQ2 能否通过利用变换图像变体，在不依赖真实标签的情况下估计场景特定准确率？
• RQ3 所提出的方法是否在多种架构和数据集上均优于现有的最先进置信度估计技术？
• RQ4 该方法是否可普遍应用于任意预训练分类器，而无需架构修改？
• RQ5 所提出的置信度估计框架对不确定性量化和整体分类准确率分别产生何种影响？

主要发现

• 在使用ResNeXt的ImageNet上，该方法实现了最先进性能，相较于先前最先进方法在$D_{ ho}$集合上AUPR提升了3.39%。
• 在ImageNet top-1任务中，使用BS($D_{ ho}$)变体，该方法使AUROC提升了7.26个百分点（从50.8提升至58.1）。
• 在STL-10上，当使用Wide-ResNet并结合数据增强时，该方法使AORC提升了3.95%（从75.8提升至79.7）。
• 通过考虑变换图像的集成，该方法在不微调的情况下也提升了分类准确率。
• 所提出的度量改进增强了可解释性，并带来了更具信息量的评估结果。
• 该方法可普遍应用于任意预训练分类器，无需内部访问或微调。