[論文レビュー] Hierarchical VAEs Know What They Don't Know

Jakob D. Havtorn, Jes Frellsen+2 more|arXiv (Cornell University)|Feb 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 8

ひとこと要約

本稿は、階層的VAEが分布外（OOD）検出に失敗する理由を特定し、低レベル特徴（例：エッジ）が複数のデータセットにわたって一般化され、尤度推定を支配するため、OODデータに対しても高い尤度を割り当てるためである。これを解決するために、すべての階層的特徴レベルで分布内活性化を強制する、完全に教師なしの尤度比スコアを提案し、複数のベンチマークで最先端のOOD検出性能を達成した。

ABSTRACT

Deep generative models have been demonstrated as state-of-the-art density estimators. Yet, recent work has found that they often assign a higher likelihood to data from outside the training distribution. This seemingly paradoxical behavior has caused concerns over the quality of the attained density estimates. In the context of hierarchical variational autoencoders, we provide evidence to explain this behavior by out-of-distribution data having in-distribution low-level features. We argue that this is both expected and desirable behavior. With this insight in hand, we develop a fast, scalable and fully unsupervised likelihood-ratio score for OOD detection that requires data to be in-distribution across all feature-levels. We benchmark the method on a vast set of data and model combinations and achieve state-of-the-art results on out-of-distribution detection.

研究の動機と目的

• 深層生成モデル、特に階層的VAEが単一の分布で学習されているにもかかわらず、分布外（OOD）データに対して分布内データよりも高い尤度を割り当てる理由を調査すること。
• この失敗の根本的原因、特に異なるデータ分布にわたって共有される一般化された低レベル特徴（例：エッジ）が尤度推定に与える影響を同定すること。
• OODデータのラベルや例に依存せず、高速でスケーラブルかつ完全に教師なしのOOD検出手法を開発し、低レベル特徴が尤度推定を支配することを回避すること。
• 提案された尤度比スコアを用いて、さまざまなデータおよびモデルの組み合わせにおいて、OOD検出で最先端の性能を示すことを実証すること。

提案手法

• 本手法は、尤度比スコア $LLR^{>l}$ を導入し、各階層的層 $l$ においてモデルの完全な事後分布下での尤度と、条件付き事前分布下での尤度を比較する。
• このスコアにより、サンプルが上位層から層 $l$ まですべての特徴レベルで分布内であることが保証され、低レベル特徴が尤度推定を誤魔化すのを防ぐ。
• 尤度の計算には1000サンプルを用いた重要度サンプリングを採用し、ラベルなしOODデータを必要とせず、安定的かつスケーラブルなOOD検出を実現する。
• モデルは複数の潜在層を持つ階層的VAEアーキテクチャで学習され、各層の事後分布は上位層の潜在変数に条件付けられ、事前分布は層間に分離可能である。
• 標準的な指標（AUROC、AUPRC、FPR80）を用いて、MNIST、FashionMNIST、CIFAR10、Omniglotなどの複数のデータセットでOOD検出性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 階層的VAEが単一の分布で学習されているにもかかわらず、なぜ分布外（OOD）データに対して分布内データよりも高い尤度を割り当てるのか？
• RQ2 低レベル特徴（例：エッジ）がどの程度異なるデータセットにわたって一般化され、階層的VAEの尤度推定を支配するのか？
• RQ3 すべての階層的特徴レベルで分布内活性化を強制する尤度比スコアは、OOD検出性能を向上させることができるか？
• RQ4 提案手法は、OODラベルや例を一切必要としない完全に教師なしの設定で、最先端のOOD検出性能を達成するのか？

主な発見

• FashionMNISTで学習した際、提案スコア $LLR^{>1}$ は notMNIST データセットでAUROC 0.998を達成し、標準尤度を上回った。
• MNISTで学習した際、Omniglot28x28 データセットでは $LLR^{>2}$ がAUROC 1.000およびAUPRC 1.000を達成し、ほぼ完全なOOD検出を示した。
• CIFAR10で学習したHVAEでは、$LLR^{>1}$ がCIFAR100 OODセットでAUROC 0.835およびAUPRC 0.835を達成し、標準尤度 $\mathcal{L}^{>1}$ の0.479 AUROCを顕著に上回った。
• 挑戦的なOmniglot28x28Inverted データセットでは、$LLR^{>1}$ がAUROC 0.944およびAUPRC 0.953を達成したのに対し、標準尤度 $\mathcal{L}^{>1}$ はわずか0.450 AUROCにとどまり、本手法の分布シフトへのロバストネスを示した。
• 本手法は、すべてのテスト済みデータセットおよびモデルの組み合わせで最先端の性能を達成し、AUROCスコアがほとんどのベンチマークで0.95以上を維持した。特にKMNISTでは0.999、SmallNORB28x28では1.000を記録した。