[論文レビュー] WAIC, but Why? Generative Ensembles for Robust Anomaly Detection

Hyunsun Choi, Eric Jang+1 more|arXiv (Cornell University)|Oct 2, 2018

Anomaly Detection Techniques and Applications参考文献 36被引用数 158

ひとこと要約

本論文は、WAIC を用いて複数の生成モデルのエンサンブルから得られる epistemic uncertainty を組み合わせ、密度推定と併用して分布外入力を頑健に検出する Generative Ensembles を紹介します。さらに、単なる尤度だけでは誤導になる理由を論じ、画像データとクレジットカードデータセットにおける経験的結果を報告します。

ABSTRACT

Machine learning models encounter Out-of-Distribution (OoD) errors when the data seen at test time are generated from a different stochastic generator than the one used to generate the training data. One proposal to scale OoD detection to high-dimensional data is to learn a tractable likelihood approximation of the training distribution, and use it to reject unlikely inputs. However, likelihood models on natural data are themselves susceptible to OoD errors, and even assign large likelihoods to samples from other datasets. To mitigate this problem, we propose Generative Ensembles, which robustify density-based OoD detection by way of estimating epistemic uncertainty of the likelihood model. We present a puzzling observation in need of an explanation -- although likelihood measures cannot account for the typical set of a distribution, and therefore should not be suitable on their own for OoD detection, WAIC performs surprisingly well in practice.

研究の動機と目的

• トレーニングデータと異なる入力（OoD）を検出して安全な ML デプロイを支援すること。タスク固有の異常検知に依存しない。
• 尤度ベースの OoD 検出の限界を調べ、WAIC を頑健な代替として探る。
• 密度ベースの異常検知を改善するため、エピステミック不確実性を推定する Generative Ensembles を提案する。
• 画像データセット（MNIST、Fashion-MNIST、CIFAR-10）と実世界のクレジットカード不正検出データセットで、ベースラインと比較して評価する。

提案手法

• WAIC を E_theta[log p_theta(x)] - Var_theta[log p_theta(x)] と定義し、独立に学習した生成モデルのエンサンブルを近似後方分布サンプルとして用いる。
• オート回帰、フロー型、VAE などの尤度モデルに WAIC を適用し、頑健な異常スコアを得る。
• エンサンブルの分散が後方分布の選択に対する感度を正則化し、 OoD 入力の同定に役立つ様子を実証する。
• GAN ベースの異常検出を拡張し、識別器のエンサンブルからの予測不確実性を活用して OoD 入力を検出する。
• 複数のデータセットで Generative Ensembles を ODIN、VIB、密度ベースのベースラインと実験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 エンサンブル生成モデルの WAIC 要約不確実性は、単一モデルの尤度を超えて OoD 検出を改善できるか。
• RQ2 高次元データの典型的な領域を尤度ベースの OoD 信号が誤検知することはあり得るか、WAIC はこの誤動作を緩和できるか。
• RQ3 Generative Ensembles は標準的なベンチマークや実世界の異常設定で、識別的 OoD 検出器（例：ODIN、VIB）と比較してどうか。
• RQ4 OoD 検出を改善するための生成モデルの訓練（例：beta-VAE 調整）に関する実践的洞見は何か。

主な発見

• エンサンブルベースの WAIC は、MNIST、Fashion-MNIST、CIFAR-10 などの多くの OoD タスクで単一モデルの尤度を上回ることがある。
• WAIC は、個々のモデルで高い尤度を示す OoD サンプルを識別することが多く、尤度ベース検出の既知の限界に対処する。
• Generative Ensembles は識別的 OoD ベースライン（ODIN、VIB）と競合し、ラベル情報なしでいくつかのタスクでそれらを上回ることがある。
• 訓練目的の調整（例：beta-VAE）によって OoD 信号の品質に影響が出ることがあり、特定の設定で検出性能が向上する。
• 実世界の Kaggle クレジット不正データセットでは、密度ベースの WAIC 手法が、正常な取引のみで訓練された場合、識別的分類器ベースラインと比べて高い性能を示す。