[论文解读] Detecting Out-of-distribution Samples via Variational Auto-encoder with Reliable Uncertainty Estimation

Xuming Ran, Mingkun Xu+3 more|arXiv (Cornell University)|Jul 16, 2020

Anomaly Detection Techniques and Applications参考文献 37被引用 6

一句话总结

本文提出 INCPVAE，一种将改进的噪声对比先验（INCP）集成到编码器中的变分自编码器，以实现分布外（OOD）检测的可靠不确定性估计。通过用 INCP-KL 比值替代似然作为 OOD 检测指标，该模型在 CIFAR10 与 SVHN 的对比中实现了 1.000 的最先进 AUROC，优于标准 VAE 和先前方法。

ABSTRACT

Variational autoencoders (VAEs) are influential generative models with rich representation capabilities from the deep neural network architecture and Bayesian method. However, VAE models have a weakness that assign a higher likelihood to out-of-distribution (OOD) inputs than in-distribution (ID) inputs. To address this problem, a reliable uncertainty estimation is considered to be critical for in-depth understanding of OOD inputs. In this study, we propose an improved noise contrastive prior (INCP) to be able to integrate into the encoder of VAEs, called INCPVAE. INCP is scalable, trainable and compatible with VAEs, and it also adopts the merits from the INCP for uncertainty estimation. Experiments on various datasets demonstrate that compared to the standard VAEs, our model is superior in uncertainty estimation for the OOD data and is robust in anomaly detection tasks. The INCPVAE model obtains reliable uncertainty estimation for OOD inputs and solves the OOD problem in VAE models.

研究动机与目标

• 解决 VAE 中 OOD 问题，即 OOD 样本的似然值高于分布内（ID）样本。
• 开发一种方法，实现在无监督生成模型中对 OOD 输入实现可靠的不确定性估计。
• 将噪声对比先验（NCPs）集成到 VAE 框架中，此前该方法仅限于分类器模型。
• 提出一种基于 INCP-KL 比值的新 OOD 检测准则，相较于基于似然的方法，提升了鲁棒性和性能。

提出的方法

• 为 VAE 量身定制改进的噪声对比先验（INCP），实现可训练且可扩展的不确定性估计。
• 将 INCP 集成到 VAE 的编码器中，允许与 ID 数据及通过向 ID 输入添加高斯噪声生成的 OOD 数据联合训练。
• 定义一种新指标——ELBO 比值，通过比较不同噪声水平下的 ELBO 值来估计不确定性。
• 使用 INCP-KL 比值——即 INCP 下的 KL 散度与标准 KL 散度的比值——作为主要的 OOD 检测准则。
• 使用改进的损失函数端到端训练模型，其中引入 INCP 以鼓励对 OOD 输入产生高不确定性。
• 在 INCP-KL 比值上应用简单阈值（例如 α = 1）对样本进行 OOD 或 ID 分类，实现实际部署。

Figure 1: Generating OOD samples by adding Gaussian Noise to the baseline data. The baseline data is sample from the original image dataset (e.g., FashionMNIST, MNIST, CIFAR10, SVHN). We add the Gaussian Noise at three levels to generate the OOD sample with different complexity. The Baseline+Noise i

实验结果

研究问题

• RQ1 改进的噪声对比先验（INCP）能否成功适配到 VAE 框架中，以增强 OOD 检测的不确定性估计？
• RQ2 ELBO 比值指标是否能可靠地反映输入数据的不确定性，尤其是在噪声水平逐渐增加的情况下？
• RQ3 INCP-KL 比值是否能在多种数据集上超越似然和其他基线方法，实现更优的 OOD 样本检测性能？
• RQ4 所提出的方法对分布偏移是否具有鲁棒性，例如在 FashionMNIST 上训练后能否检测 MNIST 数据？
• RQ5 INCPVAE 模型能否泛化到真实世界中的 OOD 数据，而不仅限于基于合成噪声的 OOD 数据生成？

主要发现

• INCPVAE 在 CIFAR10 与 SVHN 的 OOD 检测基准上实现了 1.000 的最先进 AUROC 和 1.000 的 AUPRC，显著优于传统 VAE 和先前方法。
• ELBO 比值随噪声水平增加而上升，在四个数据集上均表现出可靠的不确定性估计，证实其对输入不确定性的敏感性。
• INCPVAE 能够成功将不确定性估计从 FashionMNIST 泛化到 MNIST，而标准 VAE 无法实现此效果，表明其不确定性表征具有更强的泛化能力。
• 传统 VAE 将更高的似然值分配给 OOD 输入，证实了 OOD 问题的存在；而 INCPVAE 通过使用 INCP-KL 比值作为检测指标，有效缓解了该问题。
• INCP-KL 比值方法在 CIFAR10 与 SVHN 上实现了 1.000 的 AUROC 和 1.000 的 AUPRC，优于基线方法如似然（AUROC: 0.057）、ODIN（0.752）和马氏距离（0.942）。
• 即使 OOD 数据通过简单的高斯噪声生成，模型性能依然保持稳健，表明该方法可进一步扩展至更真实的 OOD 数据生成技术。

(a) FashionMNIST