[論文レビュー] Bayesian Autoencoders: Analysing and Fixing the Bernoulli likelihood for Out-of-Distribution Detection

Bang Xiang Yong, Tim Pearce+1 more|arXiv (Cornell University)|Jul 28, 2021

Anomaly Detection Techniques and Applications参考文献 15被引用数 5

ひとこと要約

本稿は、画像における高頻度のゼロ画素割合による混同要因の影響により、変分オートエノード（VAE）におけるベルヌーイ尤度が、分布外（OOD）検出において信頼性の低い要因であると特定した。2つの解決策を提案する：ベイジアンオートエノード（BAE）による尤度推定のエピステミック不確実性の推定、およびガウス尤度への切り替え。両者ともMNIST対FashionMNISTでAUROC >0.98を達成し、標準的な尤度ベース手法を上回る性能を示した。

ABSTRACT

After an autoencoder (AE) has learnt to reconstruct one dataset, it might be expected that the likelihood on an out-of-distribution (OOD) input would be low. This has been studied as an approach to detect OOD inputs. Recent work showed this intuitive approach can fail for the dataset pairs FashionMNIST vs MNIST. This paper suggests this is due to the use of Bernoulli likelihood and analyses why this is the case, proposing two fixes: 1) Compute the uncertainty of likelihood estimate by using a Bayesian version of the AE. 2) Use alternative distributions to model the likelihood.

研究の動機と目的

• MNIST 対 FashionMNIST といった画像データセットにおける標準的な変分オートエノードが、なぜOOD検出に失敗するかを調査すること。
• 特にゼロ画素の割合が高いため、ピクセルの分布と不適合であるとして、ベルヌーイ尤度が根本的原因であると特定すること。
• 2つの実用的解決策を提案すること：尤度推定のエピステミック不確実性の推定と、ガウス尤度などの代替尤度の使用。
• 不確実性推定のためのベイジアン推論手法（例：MC-Dropout、Bayes-by-Backprop、アンカーモデルアンサンブル）をオートエノードに適用し、評価すること。
• 不確実性と尤度推定を組み合わせることで、OOD検出のAUROCが著しく向上することを実証すること。

提案手法

• オートエノードのパラメータにベイズの定理を適用することで、ベイジアンオートエノード（BAE）を提案し、重みの事後分布推論を可能にする。
• 近似推論手法（MC-Dropout、Bayes-by-Backprop、SGHMC、アンカーモデルアンサンブル）を用いて、事後分布からのサンプリングを実現する。
• 尤度推定の不確実性、Var_θ(LL) を新たなOODスコアとして導入し、事後重みのマルコフチェインモンテカルロ（MCMC）サンプリングにより計算する。
• ベルヌーイ尤度の代わりにガウス尤度（N(𝐱̂*,1)）と連続的ベルヌーイ（C-Ber）を導入し、ピクセルドメインの不一致に対する耐性をテストする。
• アンサンブルモデルを必要とせず、単一モデルからの重要度サンプリングによりエピステミック不確実性を推定する手法を採用する。
• 標準ベンチマーク（MNIST 対 FashionMNIST、SVHN 対 CIFAR10）を用いて、AUROCを指標にOOD検出性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜベルヌーイ尤度は、特にMNIST 対 FashionMNIST においてオートエノードのOOD検出に失敗するのか？
• RQ2 画像内のゼロ画素の割合が、ベルヌーイ尤度がインハウスとアウトオブハウスのサンプルを区別する能力に悪影響を及えるのか？
• RQ3 尤度推定のエピステミック不確実性（Var_θ(LL)）は、信頼性のあるOOD検出スコアとして機能するのか？
• RQ4 ピクセル値のサポートが一致しないにもかかわらず、ガウス尤度に切り替えることでOOD検出性能が向上するのか？
• RQ5 ベイジアン推論手法（例：アンカーモデルアンサンブル）による不確実性推定は、標準的な尤度ベーススコアを上回る性能を示すのか？

主な発見

• ベルヌーイ尤度は、画像内の高頻度のゼロ画素による混同要因の影響を受けて、MNIST 対 FashionMNIST におけるOOD検出に失敗し、AUROC < 0.5 を示した。
• 連続的ベルヌーイ尤度（C-Ber）も同様にこの問題を解消できず、類似した低性能（AUROC ≈ 0.31）を示した。
• ベルヌーイ尤度からガウス尤度に切り替えることで、すべてのモデルでAUROCが約0.30から0.98に上昇し、ドメイン不一致に対しても頑健であることが示された。
• 尤度推定の不確実性、Var_θ(LL) は、ベルヌーイ尤度を用いたモデルを含め、すべてのモデルでAUROC > 0.98を達成し、平均尤度（𝔼_θ(LL)）を上回る性能を示した。
• アンカーモデルアンサンブルとVar_θ(LL)を組み合わせた手法は、MNIST 対 FashionMNIST で最高のAUROC 0.995を達成し、標準的な尤度ベース手法を著しく上回った。
• 単一モデルからの重要度サンプリングで十分にエピステミック不確実性を推定可能であり、完全なアンサンブルを必要としないため、スケーラブルな手法であることが示された。