[论文解读] Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data

Yen-Chang Hsu, Yilin Shen+2 more|arXiv (Cornell University)|Feb 26, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 35

一句话总结

本文提出通过将置信度分解为 h 和 g 两个分量（DeConf）来实现无 OoD 数据的异常检测学习，并结合改造后的输入预处理策略，在多个数据集上在不做 OoD 调优的情况下实现了强大表现。

ABSTRACT

Deep neural networks have attained remarkable performance when applied to data that comes from the same distribution as that of the training set, but can significantly degrade otherwise. Therefore, detecting whether an example is out-of-distribution (OoD) is crucial to enable a system that can reject such samples or alert users. Recent works have made significant progress on OoD benchmarks consisting of small image datasets. However, many recent methods based on neural networks rely on training or tuning with both in-distribution and out-of-distribution data. The latter is generally hard to define a-priori, and its selection can easily bias the learning. We base our work on a popular method ODIN, proposing two strategies for freeing it from the needs of tuning with OoD data, while improving its OoD detection performance. We specifically propose to decompose confidence scoring as well as a modified input pre-processing method. We show that both of these significantly help in detection performance. Our further analysis on a larger scale image dataset shows that the two types of distribution shifts, specifically semantic shift and non-semantic shift, present a significant difference in the difficulty of the problem, providing an analysis of when ODIN-like strategies do or do not work.

研究动机与目标

• 在开放世界假设下推动 OoD 检测，且不依赖 OoD 数据进行参数调优。
• 引入一个 dividend/divisor（DeConf）分类器设计，将置信度分解为领域内项和领域项。
• 改造并改进输入预处理，仅使用同分布数据来调整扰动幅度。
• 在标准和大规模 OoD 基准上提供广泛的实证分析，以理解语义性与非语义性分布偏移。

提出的方法

• 通过将 p(y|d_in, x) 分解为 p(y, d_in|x) / p(d_in|x) 来引入概率视角，并实现为 dividend/divisor 结构 f_i(x) = h_i(x)/g(x)。
• 利用倒数第二层特征的内积、欧氏距离或余弦相似度来设计 h_i(x)（I、E、C 变体）。
• 训练以最大化 p(y, d_in|x) 的交叉熵，采用两条支路 h_i 和 g，鼓励分解后的置信度将内在分布与分布外信号分离。
• 将 g(x) 作为一个学习得到的类温度型、领域概率函数，用于校准置信度并改善 OoD 判别。
• 通过基于同分布数据选择单一扰动幅度 epsilon* 来修改输入预处理（IPP），以最大化 S(x)。
• 在无 OoD 数据的跨 ID 验证下进行评估，并与 ODIN 和 Mahalanobis 基线（无 OoD 调优）进行比较。

实验结果

研究问题

• RQ1 在无法获得 OoD 数据进行超参数调优的情况下，如何进行 OoD 检测？
• RQ2 将分类器置信度分解为 dividend/divisor 结构是否在没有 OoD 数据的情况下改善 OoD 区分？
• RQ3 仅使用同分布数据的可学习输入扰动策略是否能在多样数据集上有效提升 OoD 检测？
• RQ4 语义性与非语义性分布偏移如何影响 OoD 检测方法的性能？
• RQ5 不同的 h_i(x) 形式（I、E、C）及 g(x) 对鲁棒性和可扩展性的影响是什么？

主要发现

• 在不使用 OoD 数据的情况下，DeConf 变体显著提升相对于基线的 OoD 检测性能（跨数据集的 AUROC 与 TNR@TPR95 提升）。
• 当同分布类别数量增加时，DeConf-E 与 DeConf-C 变体往往在鲁棒性与可扩展性上表现最好。
• 基于单一同分布数据的 epsilon* 用于 IPP 就能实现强烈的 OoD 区分，降低对 OoD 数据集进行调优的依赖。
• 将 DeConf 与修改后的 IPP 结合，在众多基准上对强基线（ODIN*、Mahalanobis*）取得优越性能。
• 语义性偏移与非语义性偏移在 OoD 检测中的难度水平不同，通常语义偏移更具挑战性。
• 额外的正则化可以提升 DeConf-I 与 g(x) 的性能，表明对 dividend/divisor 设计存在过拟合方面的考虑。