[论文解读] Bayesian Variational Autoencoders for Unsupervised Out-of-Distribution Detection

Erik Daxberger, José Miguel Hernández-Lobato|arXiv (Cornell University)|Dec 11, 2019

Adversarial Robustness in Machine Learning被引用 32

一句话总结

该论文提出了一种贝叶斯变分自编码器（BVAE），利用随机梯度马尔可夫链蒙特卡洛（SG-MCMC）对解码器参数的完整后验分布进行估计，从而通过信息论方法衡量模型的有用性，在输入空间和潜在空间中实现鲁棒的无监督分布外（OoD）检测。与基于似然的方法相比，该方法在标准基准测试中显著优于以往方法，能够捕捉认知不确定性。

ABSTRACT

Despite their successes, deep neural networks may make unreliable predictions when faced with test data drawn from a distribution different to that of the training data, constituting a major problem for AI safety. While this has recently motivated the development of methods to detect such out-of-distribution (OoD) inputs, a robust solution is still lacking. We propose a new probabilistic, unsupervised approach to this problem based on a Bayesian variational autoencoder model, which estimates a full posterior distribution over the decoder parameters using stochastic gradient Markov chain Monte Carlo, instead of fitting a point estimate. We describe how information-theoretic measures based on this posterior can then be used to detect OoD inputs both in input space and in the model's latent space. We empirically demonstrate the effectiveness of our proposed approach.

研究动机与目标

• 为解决深度神经网络在安全关键应用中对分布外（OoD）输入做出过度自信预测的严重局限性。
• 克服基于似然的OoD检测方法的根本不可靠性，这些方法可能为OoD数据分配比分布内数据更高的密度。
• 开发一种统一的无监督框架，通过严谨的不确定性量化，在输入空间和潜在空间中检测Oo端输入。
• 利用模型参数的后验推断来量化新输入的有用性，将OoD检测与主动学习原理相联系。

提出的方法

• 提出一种贝叶斯VAE（BVAE），使用随机梯度马尔可夫链蒙特卡洛（SG-MCMC）将解码器参数的点估计替换为完整的后验分布。
• 利用模型参数的后预测分布，将测试输入 ${\mathbf{x}}^{*}$ 的期望有用性作为OoD状态的代理指标。
• 量化在观察 ${\mathbf{x}}^{*}$ 后后验分布的期望变化，通过互信息与信息论主动学习原理建立联系。
• 将相同原理应用于潜在空间，通过测量潜在码 ${\mathbf{z}}^{*}$ 的有用性，实现潜在空间的OoD检测。
• 采用WAIC（Watanabe-Akaike信息准则）作为模型证据的代理，以近似后预测密度。
• 将后验下的期望对数似然视为稳健评分，避免依赖单一点似然估计。

实验结果

研究问题

• RQ1 与基于似然的方法相比，是否可以通过在参数上进行完整后验推断的贝叶斯深度生成模型，提升OoD检测的可靠性？
• RQ2 如何利用后验分布捕捉的认知不确定性，在输入空间和潜在空间中检测OoD输入？
• RQ3 基于后验更新的信息论模型有用性度量能否作为原则性强且鲁棒的OoD检测标准？
• RQ4 所提出的BVAE方法是否在标准基准测试中优于现有无监督OoD检测方法，特别是在潜在空间中？

主要发现

• 所提出的BVAE方法在MNIST、CIFAR-10和SVHN等标准基准测试中，显著优于基于似然的基线方法及其他最先进OoD检测方法。
• 该方法在检测输入空间和潜在空间中的OoD输入方面均表现出色，展现出在多样化数据分布下的鲁棒性。
• 基于后预测方差和后验下期望对数似然的信息论评分与OoD状态表现出强相关性。
• 利用SG-MCMC对解码器参数进行采样，实现了可靠的不确定性量化，避免了点估计VAE的过度自信问题。
• 即使在标准似然为OoD数据分配更高分数时，该方法仍能有效检测OoD输入，凸显其鲁棒性。
• 该方法在潜在空间OoD检测中表现有效，这对结构化输入空间（如分子生成）中的贝叶斯优化等应用至关重要。