[論文レビュー] Bayesian Variational Autoencoders for Unsupervised Out-of-Distribution Detection

Erik Daxberger, José Miguel Hernández-Lobato|arXiv (Cornell University)|Dec 11, 2019

Adversarial Robustness in Machine Learning被引用数 32

ひとこと要約

本稿では、入力空間および潜在空間における情報理論的測度を用いたモデルの有用性の指標により、入出力分布外（OoD）検出を強固に実現する、確率的勾配マルコフ連鎖モンテカルロ（SG-MCMC）を用いてデコーダーのパラメータの完全な事後分布を推定するベイジアン変分オートエンコーダー（BVAE）を提案する。この手法は、エピステミック的不確実性を捉えることで、従来の尤度ベースの手法よりも顕著に優れた性能を示し、標準ベンチマークで優れた結果を達成する。

ABSTRACT

Despite their successes, deep neural networks may make unreliable predictions when faced with test data drawn from a distribution different to that of the training data, constituting a major problem for AI safety. While this has recently motivated the development of methods to detect such out-of-distribution (OoD) inputs, a robust solution is still lacking. We propose a new probabilistic, unsupervised approach to this problem based on a Bayesian variational autoencoder model, which estimates a full posterior distribution over the decoder parameters using stochastic gradient Markov chain Monte Carlo, instead of fitting a point estimate. We describe how information-theoretic measures based on this posterior can then be used to detect OoD inputs both in input space and in the model's latent space. We empirically demonstrate the effectiveness of our proposed approach.

研究の動機と目的

• 安全性が求められる応用分野において、深層ニューラルネットワークがOoD入力に対して過信した予測を行うという顕著な限界を是正すること。
• OoDデータの尤度がインダゥストリューションデータの尤度よりも高くなることがあるという、尤度ベースのOoD検出手法の根本的な信頼性の欠如を克服すること。
• 原理的不確実性評価を用いて、入力空間および潜在空間の両方におけるOoD入力を統合的かつ非教師付きで検出するフレームワークを構築すること。
• モデルパラメータの事後分布推論を活用して、新しい入力の有用性を定量化し、OoD検出をアクティブラーニングの原則に結びつけること。

提案手法

• デコーダーのパラメータの点推定を、確率的勾配マルコフ連鎖モンテカルロ（SG-MCMC）を用いた完全な事後分布に置き換えるベイジアンVAE（BVAE）を提案する。
• モデルパラメータの事後予測分布を用いて、テスト入力 ${\mathbf{x}}^{*}$ の期待される有用性を計算し、OoD状態の代理指標とする。
• ${\mathbf{x}}^{*}$ を観測した後の事後分布の期待される変化を定量化し、相互情報量を介して情報理論的アクティブラーニングにリンクする。
• 潜在空間に対しても同様の原理を適用し、潜在コード ${\mathbf{z}}^{*}$ の有用性を測定することで、潜在空間におけるOoD検出を可能にする。
• 事後予測密度を近似するために、WAIC（Watanabe-Akaike情報基準）をモデル証拠の代理指標として用いる。
• 事後分布下での期待尤度をスコアとして扱い、単一の点推定尤度に依存しない堅牢なスコアとする。

実験結果

リサーチクエスチョン

• RQ1 パラメータの完全な事後分布推定を伴うベイジアン深層生成モデルは、尤度ベースの手法と比較して、OoD検出の信頼性を向上させることができるか？
• RQ2 事後分布によるエピステミック的不確実性を活用することで、入力空間および潜在空間の両方におけるOoD入力をどのように検出できるか？
• RQ3 事後分布の更新に基づく情報理論的有用性測度—特に相互情報量に基づく—は、原理的かつ堅牢なOoD検出基準として機能できるか？
• RQ4 提案されたBVAEアプローチは、標準ベンチマークにおいて、特に潜在空間において、既存の非教師付きOoD検出手法を上回る性能を示すか？

主な発見

• 提案されたBVAE手法は、MNIST、CIFAR-10、SVHNなどの標準ベンチマークにおいて、尤度ベースのベースラインおよび他の最先端のOoD検出手法を顕著に上回る性能を示した。
• 本手法は、入力空間および潜在空間の両方におけるOoD入力の検出において優れた性能を発揮し、多様なデータ分布にわたり堅牢であることが示された。
• 事後予測分散および事後分布下での期待尤度に基づく情報理論的スコアは、OoD状態と強く相関していた。
• デコーダーのパラメータをSG-MCMCでサンプリングすることで、信頼性の高い不確実性評価が可能となり、点推定VAEが抱える過信問題を回避した。
• 標準的な尤度がOoDデータに対して高いスコアを割り当てる場合でも、本手法はOoD入力を効果的に検出できることから、その堅牢性が顕著に示された。
• 本手法は潜在空間におけるOoD検出に対しても有効であり、分子生成などの構造的入力空間におけるベイジアン最適化などの応用にとって極めて重要である。