[论文解读] Does Your Model Know the Digit 6 Is Not a Cat? A Less Biased Evaluation of "Outlier" Detectors

Alireza Shafaei, Mark Schmidt+1 more|arXiv (Cornell University)|Sep 13, 2018

Anomaly Detection Techniques and Applications被引用 36

一句话总结

本文提出 OD-test，一种基于三数据集的评估框架，旨在公平评估图像分类任务中分布外（OOD）检测方法的性能。通过将训练集、分布内验证集与多样化的 OOD 测试集分离，该框架揭示了现有方法在真实高维图像 OOD 检测任务中表现不佳，暴露出当前基准测试与模型可靠性中的关键局限性。

ABSTRACT

In the real world, a learning system could receive an input that looks nothing like anything it has seen during training, and this can lead to unpredictable behaviour. We thus need to know whether any given input belongs to the population distribution of the training data to prevent unpredictable behaviour in deployed systems. A recent surge of interest on this problem has led to the development of sophisticated techniques in the deep learning literature. However, due to the absence of a standardized problem formulation or an exhaustive evaluation, it is not evident if we can rely on these methods in practice. What makes this problem different from a typical supervised learning setting is that we cannot model the diversity of out-of-distribution samples in practice. The distribution of outliers used in training may not be the same as the distribution of outliers encountered in the application. Therefore, classical approaches that learn inliers vs. outliers with only two datasets can yield optimistic results. We introduce OD-test, a three-dataset evaluation scheme as a practical and more reliable strategy to assess progress on this problem. The OD-test benchmark provides a straightforward means of comparison for methods that address the out-of-distribution sample detection problem. We present an exhaustive evaluation of a broad set of methods from related areas on image classification tasks. Furthermore, we show that for realistic applications of high-dimensional images, the existing methods have low accuracy. Our analysis reveals areas of strength and weakness of each method.

研究动机与目标

• 解决深度学习中分布外（OOD）检测缺乏标准化、可靠评估的问题。
• 揭示传统两数据集方法的缺陷：由于异常值分布不匹配，导致 OOD 检测性能被高估。
• 提供一种实用且可复现的评估方案，更贴近真实部署环境。
• 使用更具现实性和多样性的异常值分布，在图像分类任务中评估广泛的 OOD 检测方法。
• 揭示现有方法在高维真实图像数据上，尤其是语义相似但分布外的输入（如 '6' 与 'cat'）上的局限性。

提出的方法

• 提出 OD-test，一种三数据集评估协议：训练集、分布内验证集与多样化 OOD 测试集。
• 使用标准图像分类数据集（如 CIFAR-10、SVHN）作为分布内数据，从多样化来源收集并筛选 OOD 图像。
• 确保 OOD 测试集包含语义相似但分布外的样本（如将数字 '6' 视为类似猫的物体），以检验模型的鲁棒性。
• 使用 AUROC 和在 95% TPR 下的 FPR 等标准指标，在多种模型与架构上评估 OOD 检测器。
• 设计该基准为模块化且可扩展，使未来方法可在一致且真实的条件下进行评估。
• 强调使用多样化、非代表性 OOD 分布的重要性，以避免模型对特定异常模式过拟合。

实验结果

研究问题

• RQ1 当在与训练异常值分布不同的真实、多样化 OOD 测试集上评估时，现有 OOD 检测方法的表现如何？
• RQ2 由于分布不匹配，传统两数据集评估方案在多大程度上高估了真实 OOD 检测性能？
• RQ3 在语义相似但分布外的输入（如将数字 '6' 误分类为 'cat'）上，方法表现如何？
• RQ4 现有 OOD 检测方法在高维图像数据上应用时的关键失败模式是什么？
• RQ5 标准化的三数据集基准能否提升 OOD 检测评估的可靠性与可比性？

主要发现

• 与标准两数据集评估相比，现有 OOD 检测方法在所提出的 OD-test 基准上表现显著下降。
• 许多模型无法区分语义相似但分布外的输入，例如将数字 '6' 误分类为 'cat'，暴露出鲁棒性中的关键缺陷。
• 标准基准与 OD-test 之间的性能差距，凸显了以往评估因异常值分布不匹配而产生的过度乐观倾向。
• 即使是最先进的方法在 OD-test 上也仅获得中等 AUROC 分数（例如低于 0.85），表明仍有巨大改进空间。
• OD-test 中 OOD 测试集的多样性和真实性，暴露了现有方法在简单基准中无法显现的弱点。
• 三数据集方案提供了一个更可靠、更实用的评估框架，更真实地反映了现实世界部署中的挑战。