[論文レビュー] Detecting Out-of-distribution Samples via Variational Auto-encoder with Reliable Uncertainty Estimation

Xuming Ran, Mingkun Xu+3 more|arXiv (Cornell University)|Jul 16, 2020

Anomaly Detection Techniques and Applications参考文献 37被引用数 6

ひとこと要約

本論文では、分布外（OOD）検出のための信頼性の高い不確実性推定を可能にする、改良型ノイズ対比事前分布（INCP）をエンコーダーに統合した変分オートエノードイクスプレッション（INCPVAE）を提案する。尤度の代わりにINCP-KL比をOOD検出指標として用いることで、CIFAR10 対 SVHN におけるOOD検出で、標準VAEや先行手法を上回る最先端のAUROC 1.000を達成した。

ABSTRACT

Variational autoencoders (VAEs) are influential generative models with rich representation capabilities from the deep neural network architecture and Bayesian method. However, VAE models have a weakness that assign a higher likelihood to out-of-distribution (OOD) inputs than in-distribution (ID) inputs. To address this problem, a reliable uncertainty estimation is considered to be critical for in-depth understanding of OOD inputs. In this study, we propose an improved noise contrastive prior (INCP) to be able to integrate into the encoder of VAEs, called INCPVAE. INCP is scalable, trainable and compatible with VAEs, and it also adopts the merits from the INCP for uncertainty estimation. Experiments on various datasets demonstrate that compared to the standard VAEs, our model is superior in uncertainty estimation for the OOD data and is robust in anomaly detection tasks. The INCPVAE model obtains reliable uncertainty estimation for OOD inputs and solves the OOD problem in VAE models.

研究の動機と目的

• 分布外（OOD）サンプルが分布内（ID）サンプルよりも高い尤度を割り当てられるVAEにおけるOOD問題に対処すること。
• 教師なし生成モデルにおけるOOD入力の信頼性の高い不確実性推定を可能にする手法を開発すること。
• 従来、分類器モデルに限定されていたノイズ対比事前分布（NCPs）をVAEフレームワークに統合すること。
• INCP-KL比に基づく新しいOOD検出基準を提案し、尤度ベースの手法に比べてより高いロバスト性と性能を実現すること。

提案手法

• VAEに特化した改良型ノイズ対比事前分布（INCP）を提案し、トレーニング可能でスケーラブルな不確実性推定を可能にする。
• INCPをVAEのエンコーダーに統合し、IDデータと、ID入力にガウスノイズを追加して生成されたOODデータを同時に学習可能にする。
• ノイズレベルを段階的に増加させた際のELBO値の比較を通じて不確実性を推定する新しい指標、ELBO比を定義する。
• 主なOOD検出基準として、INCP下でのKLダイバージェンスと標準KLとの比であるINCP-KL比を計算する。
• INCPを組み込んだ修正された損失関数を用いて、エンドツーエンドでモデルを訓練し、OOD入力に対して高い不確実性を促進する。
• INCP-KL比に単純なしきい値（例：α = 1）を適用することで、サンプルをOODまたはIDに分類可能にし、実用的導入を可能にする。

Figure 1: Generating OOD samples by adding Gaussian Noise to the baseline data. The baseline data is sample from the original image dataset (e.g., FashionMNIST, MNIST, CIFAR10, SVHN). We add the Gaussian Noise at three levels to generate the OOD sample with different complexity. The Baseline+Noise i

実験結果

リサーチクエスチョン

• RQ1 改良型ノイズ対比事前分布（INCP）は、VAEフレームワークに適切に適応可能であり、OOD検出のための不確実性推定を向上させることができるか？
• RQ2 ELBO比指標は、特にノイズレベルの増加に伴って、入力データの不確実性を信頼性高くインデックスすることができるか？
• RQ3 INCP-KL比は、多様なデータセットにおいて、尤度や他のベースライン手法に比べ、OODサンプルの検出性能を上回ることができるか？
• RQ4 本手法は、例えばFashionMNISTで学習した際にMNISTデータを正しく検出できるような分布シフトに対してもロバストであるか？
• RQ5 INCPVAEモデルは、合成ノイズに基づくOOD生成にとどまらず、現実のOODデータにも一般化可能であるか？

主な発見

• INCPVAEは、CIFAR10 対 SVHN のOOD検出ベンチマークで、AUROC 1.000およびAUPRC 1.000を達成し、従来のVAEや先行手法を大きく上回った。
• ELBO比はノイズレベルの増加に伴い上昇し、4つのデータセットで信頼性のある不確実性推定が可能であることを示し、入力の不確実性に敏感であることが確認された。
• 従来のVAEが失敗するのに対し、INCPVAEはFashionMNISTからMNISTへの不確実性推定の転送に成功しており、不確実性表現の一般化能力が向上していることが示された。
• 従来のVAEでは、OOD入力がID入力よりも高い尤度を示すことが確認された（OOD問題の存在を裏付ける）が、INCPVAEはINCP-KL比を検出指標として用いることでこれを是正した。
• INCP-KL比手法は、CIFAR10 対 SVHN でAUROC 1.000およびAUPRC 1.000を達成し、尤度（AUROC: 0.057）、ODIN（0.752）、マハラノビス距離（0.942）といったベースラインを上回った。
• OODデータが単純なガウスノイズによって生成されてもモデルの性能が安定しており、より現実的なOODデータ生成手法への拡張可能性が示唆された。

(a) FashionMNIST