[论文解读] Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks

Shiyu Liang, Yixuan Li+1 more|arXiv (Cornell University)|Jun 8, 2017

Adversarial Robustness in Machine Learning参考文献 46被引用 648

一句话总结

ODIN 使用温度标定和输入扰动在不重新训练的情况下提升预训练网络的分布外检测，在多种架构和数据集上达到最新水平。

ABSTRACT

We consider the problem of detecting out-of-distribution images in neural networks. We propose ODIN, a simple and effective method that does not require any change to a pre-trained neural network. Our method is based on the observation that using temperature scaling and adding small perturbations to the input can separate the softmax score distributions between in- and out-of-distribution images, allowing for more effective detection. We show in a series of experiments that ODIN is compatible with diverse network architectures and datasets. It consistently outperforms the baseline approach by a large margin, establishing a new state-of-the-art performance on this task. For example, ODIN reduces the false positive rate from the baseline 34.7% to 4.3% on the DenseNet (applied to CIFAR-10) when the true positive rate is 95%.

研究动机与目标

• 在神经网络部署中需要可靠的 OOD 检测的动机。
• 提出一个无需重新训练的检测器（ODIN），能够将 in- 和 out-of-distribution 的 softmax 分数分离。
• 在多种架构和数据集上评估 ODIN，以确立鲁棒性并优于基线。
• 分析温度、扰动和数据集距离如何影响检测性能。

提出的方法

• 对 softmax 输出应用温度缩放，参数为 T。
• 在输入梯度方向上添加微小的输入扰动，以放大可分离性。
• 在扰动后的输入上计算经过校准的 softmax 分数，并通过阈值来检测 OOD 样本。
• 使用一个单独的 OOD 验证集对 T、扰动幅度 epsilon 和阈值 delta 进行调优。
• 使用包括 FPR at 95% TPR、检测错误、AUROC 和 AUPR 等指标来评估性能。

实验结果

研究问题

• RQ1 一个无需重新训练的事后检测器能否在常见架构上提升 OOD 检测？
• RQ2 温度缩放和输入扰动如何相互作用以增强内外分布样本之间的分离？
• RQ3 超参数（T、epsilon）对不同数据集的检测性能有何影响？
• RQ4 在不同的 OOD 数据集之间，调优参数的可迁移性有多大？

主要发现

数据集对（In vs OOD)	FPR at 95% TPR (ODIN)	Detection Error (ODIN)	AUROC (ODIN)	AUPR-In (ODIN)	AUPR-Out (ODIN)
CIFAR-10 vs TinyImageNet (crop)	4.3	4.7	99.1	99.1	99.1
CIFAR-10 vs TinyImageNet (resize)	7.5	6.1	98.5	98.6	98.5
CIFAR-10 vs LSUN (crop)	11.4	7.2	97.9	98.0	97.9

• ODIN 在 OOD 检测方面显著优于基线，例如在 DenseNet-CIFAR-10 vs TinyImageNet (crop) 时将 FPR 从 34.7% 降至 4.3%（在 95% TPR）。
• ODIN 在 DenseNet-BC-100 和 Wide ResNet 架构在多个 OOD 数据集上保持强性能（TinyImageNet、LSUN、Gaussian/Uniform 噪声）。
• 使用较大温度 T（如 1000）结合精心选择的扰动 epsilon 能显著提升内外分布样本的分离。
• 在一个验证 OOD 集上调谐的超参数在具有相似性能的其他 OOD 测试集上具有良好的泛化性，表明参数具有可迁移性。
• 随着 OOD 数据集距离（MMD）增大，ODIN 的性能往往提升，而距离越近的分布检测越困难。