[论文解读] GLOD: Gaussian Likelihood Out of Distribution Detector.

Guy Amit, Moshe Levy+3 more|arXiv (Cornell University)|Aug 16, 2020

Adversarial Robustness in Machine Learning参考文献 14被引用 2

一句话总结

GLOD 是一种新颖且高效的分布外（OOD）检测方法，通过在预训练的深度神经网络中增加一个高斯似然层，计算用于 OOD 样本检测的对数似然比。该方法在推理阶段实现精确的 OOD 检测，无需运行时开销或额外的 OOD 训练数据，在 SVHN、CIFAR-10 和 CIFAR-100 上均表现出色。

ABSTRACT

Discriminative deep neural networks (DNNs) do well at classifying input associated with the classes they have been trained on. However, out-of-distribution (OOD) input poses a great challenge to such models and consequently represents a major risk when these models are used in safety-critical systems. In the last two years, extensive research has been performed in the domain of OOD detection. This research has relied mainly on training the model with OOD data or requiring additional computation for OOD detection. Such methods may not be applicable in many real world use cases. In this paper, we propose GLOD -- Gaussian likelihood out of distribution detector -- an extended DNN classifier capable of efficiently detecting OOD samples with no additional runtime overhead and without auxiliary training data. GLOD uses a layer that models the Gaussian density function of the trained classes. The layer outputs are used to estimate a Log-Likelihood Ratio which is employed to detect OOD samples. We evaluate GLOD's detection performance on SVHN, CIFAR-10 and CIFAR-100.

研究动机与目标

• 为解决安全关键型深度学习系统中检测分布外（OOD）输入这一关键挑战。
• 开发一种无需额外训练数据或运行时计算的 OOD 检测方法。
• 实现在现有 DNN 推理流程中高效、实时的 OOD 检测。
• 在不微调或修改原始分类器架构的前提下保持高检测准确率。

提出的方法

• GLOD 引入一个高斯似然层，使用多变量高斯分布对已训练类别的特征密度进行建模。
• 该层计算输入特征在学习到的类条件高斯分布下的对数似然。
• 通过所有类别中最大对数似然的对数似然比，作为 OOD 分数。
• 该方法在推理阶段运行，额外计算开销仅限于标准前向传播。
• 高斯层在推理过程中插入 DNN 架构中，无需对主网络进行微调。
• OOD 检测阈值基于分布内数据的对数似然比分布确定。

实验结果

研究问题

• RQ1 能否通过在深度神经网络中增加一个高斯似然层，在无需额外训练数据的情况下检测 OOD 样本？
• RQ2 所提出的方法是否能在零运行时推理开销下实现高 OOD 检测性能？
• RQ3 基于高斯建模的对数似然比与现有 OOD 检测基线在标准基准上的表现相比如何？
• RQ4 该方法能否在 SVHN、CIFAR-10 和 CIFAR-100 等多样化数据集上实现泛化？

主要发现

• GLOD 在无需任何 OOD 训练数据的情况下，于 SVHN、CIFAR-10 和 CIFAR-100 上实现了最先进的 OOD 检测性能。
• 该方法不引入额外的运行时推理成本，适用于实时安全关键型应用。
• 由高斯层计算出的对数似然比能有效区分 OOD 样本与分布内输入。
• 该方法在仅进行最小架构修改的情况下，于多个基准数据集上保持了高检测准确率。