[论文解读] Back to the Basics: Revisiting Out-of-Distribution Detection Baselines

Johnson Kuan, Jonas Mueller|arXiv (Cornell University)|Jul 7, 2022

Adversarial Robustness in Machine Learning被引用 13

一句话总结

本文重新审视了简单、与模型无关的分布外（OOD）检测方法，并表明通过K近邻（KNN）距离利用学习到的图像表征可显著优于仅依赖预测结果的基线方法（如最大Softmax概率，MSP）。其主要贡献在于倡导一种基于嵌入空间距离的极简KNN OOD检测方法，该方法在CIFAR、MNIST和Fashion-MNIST等标准基准上，于ResNet-50和Swin Transformer模型上均实现了最先进性能。

ABSTRACT

We study simple methods for out-of-distribution (OOD) image detection that are compatible with any already trained classifier, relying on only its predictions or learned representations. Evaluating the OOD detection performance of various methods when utilized with ResNet-50 and Swin Transformer models, we find methods that solely consider the model's predictions can be easily outperformed by also considering the learned representations. Based on our analysis, we advocate for a dead-simple approach that has been neglected in other studies: simply flag as OOD images whose average distance to their K nearest neighbors is large (in the representation space of an image classifier trained on the in-distribution data).

研究动机与目标

• 评估仅依赖预训练分类器预测结果或学习表征的简单、与模型无关的OOD检测方法的性能。
• 探究仅基于模型预测（如MSP、熵）的方法是否足够，或引入学习表征是否能提升OOD检测性能。
• 识别并倡导一种简单、可解释且高度有效的OOD检测方法，可兼容任意训练好的分类器。
• 挑战复杂生成模型对可靠OOD检测是必要的假设，表明在表征空间中使用基础KNN方法可实现具有竞争力的表现。

提出的方法

• 提出一种基于KNN的OOD检测方法，通过计算输入图像在预训练分类器嵌入空间中与其K个最近邻的平均距离来实现。
• 利用在分布内数据上训练的分类器所学习的表征（嵌入）作为计算局部密度估计的特征空间。
• 将平均KNN距离用作OOD得分：距离越大，表示越可能是分布外样本。
• 将方法扩展为仅距离和距离-预测双版本（KNN_DistPred与KNN_Prediction），其中也考虑了邻居的预测结果。
• 将方法应用于ResNet-50和Swin Transformer模型，在CIFAR-10与CIFAR-100、MNIST与Fashion-MNIST等标准OOD基准上进行评估。
• 在多个分布内与分布外数据集对上，以AUROC为主要评估指标。

实验结果

研究问题

• RQ1 仅使用预训练分类器嵌入空间的简单KNN方法，是否能在OOD检测中超越MSP和熵等成熟基线方法？
• RQ2 与仅依赖模型预测相比，引入学习表征（嵌入）是否能显著提升OOD检测性能？
• RQ3 所提出的KNN方法在不同K值下，于多种模型架构和数据集上的性能表现如何变化？
• RQ4 该KNN方法在不同分布内与分布外数据集组合（包括存在显著域偏移的情况）下是否具备鲁棒性和有效性？
• RQ5 为何最大Softmax概率（MSP）尽管作为认识论不确定性代理效果较差，却在OOD检测中仍表现良好？是否存在更简单的基于表征的方法可超越它？

主要发现

• 基于嵌入空间中K个最近邻平均距离的KNN OOD检测方法，在所有测试数据集上，于ResNet-50和Swin Transformer模型中均实现了SOTA的AUROC得分。
• 在Swin Transformer上，KNN Distance方法在CIFAR-10与CIFAR-100对比中AUROC达0.9917，在MNIST与罗马数字对比中达0.9989，显著优于MSP（0.9689）和熵（0.9690）。
• 在ResNet-50上，KNN Distance方法在CIFAR-10与CIFAR-100对比中AUROC达0.9390，在MNIST与罗马数字对比中达1.0000，超越MSP（0.9268）和熵（0.9318）。
• 即使K=5时，该方法在多个设置中仍实现AUROC >0.99，且在K=5至K=100范围内性能稳定，表明对超参数选择具有鲁棒性。
• KNN Distance方法在具有挑战性的OOD偏移场景下，持续优于更复杂的基线方法（如马氏距离、RMD、孤立森林），尤其在复杂域偏移任务中表现突出。
• 本研究证明，如KNN距离这类简单、基于表征的方法不仅有效，而且比复杂生成模型更具可解释性和实用性，后者通常需要大量调参且依赖特定模型。