[论文解读] Detecting OODs as datapoints with High Uncertainty

Ramneet Kaur, Susmit Jha+4 more|arXiv (Cornell University)|Aug 13, 2021

Anomaly Detection Techniques and Applications参考文献 36被引用 8

一句话总结

本文提出了一种基于集成的新型方法，通过结合认知不确定性（epistemic uncertainty）和偶然不确定性（aleatoric uncertainty）的指标，检测深度神经网络中的分布外（OOD）输入。通过将现有的OOD检测方法分类为依赖高认知不确定性（即分布内数据支持不足）或高偶然不确定性（即预测熵高）的类型，作者证明了通过集成方法结合这两种不确定性类型，可在多个视觉基准上实现最先进性能，显著提升AUROC和AUPR得分。

ABSTRACT

Deep neural networks (DNNs) are known to produce incorrect predictions with very high confidence on out-of-distribution inputs (OODs). This limitation is one of the key challenges in the adoption of DNNs in high-assurance systems such as autonomous driving, air traffic management, and medical diagnosis. This challenge has received significant attention recently, and several techniques have been developed to detect inputs where the model's prediction cannot be trusted. These techniques detect OODs as datapoints with either high epistemic uncertainty or high aleatoric uncertainty. We demonstrate the difference in the detection ability of these techniques and propose an ensemble approach for detection of OODs as datapoints with high uncertainty (epistemic or aleatoric). We perform experiments on vision datasets with multiple DNN architectures, achieving state-of-the-art results in most cases.

研究动机与目标

• 将现有OOD检测技术根据其是否依赖认知不确定性或偶然不确定性进行分类。
• 探究仅依赖单一类型不确定性的现有OOD检测方法的局限性。
• 提出一种统一的检测框架，结合认知与偶然不确定性的指标，以提升OOD检测性能。
• 在标准视觉数据集上对所提出的集成方法进行实证评估，并与最先进基线方法进行比较。

提出的方法

• 将现有OOD检测技术划分为两类：一类通过高认知不确定性检测OOD（如马氏距离、KNN、ODIN），另一类通过高偶然不确定性检测（如基于熵的方法、PCA、带温度缩放的马氏距离）。
• 提出一种新颖的集成检测器，将多种不确定性指标——包括认知与偶然不确定性——整合到统一的检测框架中。
• 采用加权集成检测器，其中每个检测器根据其底层机制（如马氏距离用于认知不确定性，Softmax熵用于偶然不确定性）贡献不确定性得分。
• 在多个视觉数据集（SVHN、CIFAR-10、CIFAR-100、ImageNet、LSUN）上训练并评估该集成模型，使用多种DNN架构（ResNet34、DenseNet）。
• 应用温度缩放和置信度校准，以提升集成模型中的不确定性估计性能。
• 使用标准指标如AUROC、AUPR、在95%真正率下的特异性（TNR）和检测准确率（DTACC）评估不同OOD基准下的性能。

实验结果

研究问题

• RQ1 现有OOD检测方法在检测OOD样本方面的能力有何差异，具体取决于其依赖认知不确定性还是偶然不确定性？
• RQ2 结合认知与偶然不确定性指标是否能超越单一方法，显著提升OOD检测性能？
• RQ3 一个由各检测器组成的集成，每个检测器专门通过一种不确定性类型检测OOD，是否在标准基准上优于最先进方法？
• RQ4 所提出的集成方法在不同数据集和网络架构下的鲁棒性如何？

主要发现

• 所提出的集成方法在SVHN上达到98.41的AUROC（最先进），在ImageNet上达到95.86，在LSUN上达到97.07，显著优于各独立基线方法。
• 在SVHN上使用DenseNet时，集成方法实现96.27% AUPR（IN）和99.39% AUPR（OUT），较次佳方法（ODIN）提升超过2个百分点。
• 消融实验表明，同时结合认知与偶然不确定性指标，性能始终优于仅使用其中一种类型。
• 在CIFAR-100上以LSUN作为OOD分布时，该方法实现97.28% AUROC和99.88% AUPR（OUT），展现出在多样化OOD分布下的强大泛化能力。
• 在SVHN上使用ResNet34时，该方法在95%真正率下实现90.34% TNR，优于马氏距离+ODIN（83.20%）和PCA+KNN（65.82%）的组合。
• 结果证实，认知与偶然不确定性具有互补性，联合建模可显著提升OOD检测的鲁棒性。