[论文解读] Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities

Julian Bitterwolf, Alexander Meinke+2 more|arXiv (Cornell University)|Jun 20, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文表明，多种分布外（OOD）检测方法——如异常值暴露（Outlier Exposure）、基于能量的模型（Energy-Based Models）以及背景类别训练——在本质上均优化相同的核心贝叶斯决策准则：对分布内与分布外数据进行二元判别。尽管其形式各异，但当以相同方式训练时，这些方法会收敛至相似的性能，揭示其经验成功源于估计相同的底层评分函数，而非基于根本不同的原理。

ABSTRACT

It is an important problem in trustworthy machine learning to recognize out-of-distribution (OOD) inputs which are inputs unrelated to the in-distribution task. Many out-of-distribution detection methods have been suggested in recent years. The goal of this paper is to recognize common objectives as well as to identify the implicit scoring functions of different OOD detection methods. We focus on the sub-class of methods that use surrogate OOD data during training in order to learn an OOD detection score that generalizes to new unseen out-distributions at test time. We show that binary discrimination between in- and (different) out-distributions is equivalent to several distinct formulations of the OOD detection problem. When trained in a shared fashion with a standard classifier, this binary discriminator reaches an OOD detection performance similar to that of Outlier Exposure. Moreover, we show that the confidence loss which is used by Outlier Exposure has an implicit scoring function which differs in a non-trivial fashion from the theoretically optimal scoring function in the case where training and test out-distribution are the same, which again is similar to the one used when training an Energy-Based OOD detector or when adding a background class. In practice, when trained in exactly the same way, all these methods perform similarly.

研究动机与目标

• 识别在训练过程中使用代理OOD数据的多种OOD检测方法之间的共同理论基础。
• 分析包括置信度损失、基于能量的模型和背景类别训练在内的主流OOD检测技术的隐式评分函数。
• 评估在分布内与分布外之间共享的二元判别器是否能够达到最先进OOD检测方法的性能。
• 阐明为何密度估计方法尽管在理论上相关，却常在OOD检测中表现不佳。
• 将估计过程与底层评分函数解耦，从而实现仅通过单一模型模拟多种方法。

提出的方法

• 通过贝叶斯决策理论对OOD检测进行理论分析，表明二元判别与多种OOD检测目标之间存在等价性。
• 推导置信度损失（异常值暴露）、基于能量的模型以及背景类别训练的隐式评分函数。
• 在分布内数据上联合训练一个标准分类器与一个二元判别器，以评估OOD检测性能。
• 使用标准基准数据集（CIFAR-10、CIFAR-100、SVHN、LSUN、ImageNet、OpenImages）对多种方法的OOD检测性能进行实证比较。
• 在多次运行和多个数据集上以AUROC作为主要评估指标，以确保结果稳健性。
• 分析密度估计与针对均匀噪声的判别任务之间的等价性，解释标准密度估计器在OOD检测中表现不佳的原因。

实验结果

研究问题

• RQ1 基于代理OOD数据的OOD检测方法在根本理论目标上是否本质上不同？
• RQ2 在异常值暴露中使用的置信度损失隐式优化的是何种评分函数？
• RQ3 联合训练的二元判别器的性能与最先进OOD检测方法相比如何？
• RQ4 为何标准密度估计方法尽管在理论上等价于判别任务，却在OOD检测中表现不佳？
• RQ5 通过将估计过程与评分函数解耦，能否仅用一个模型模拟多种OOD检测方法？

主要发现

• 在异常值暴露中使用的置信度损失，相较于理论上最优的二元判别器，隐式优化了一个次优的评分函数，尤其当训练与测试的分布外分布相同时更为明显。
• 在分布内与分布外之间联合训练的二元判别器，其OOD检测性能可与最先进方法（如异常值暴露和基于能量的模型）相媲美。
• 所有评估的方法——包括异常值暴露、基于能量的模型和背景类别训练——在以相同方式训练时，隐式估计相同的底层评分函数，从而解释了其相似的实证性能表现。
• 密度估计在理论上等价于对分布内数据与均匀噪声进行判别，这解释了为何标准密度估计在实践中无法有效用于OOD检测。
• 当使用OpenImages作为代理OOD数据时，共享的二元判别器基线在CIFAR-10上达到95.13的AUROC，在CIFAR-100上达到99.55，优于许多专用方法。
• 不同方法之间的性能差距主要源于估计效率的差异，而非底层评分函数的根本不同。