[論文レビュー] Understanding Anomaly Detection with Deep Invertible Networks through Hierarchies of Distributions and Features

Robin Tibor Schirrmeister, Yuxuan Zhou+2 more|arXiv (Cornell University)|Jun 18, 2020

Anomaly Detection Techniques and Applications参考文献 36被引用数 31

ひとこと要約

この論文は、invertible generative models を用いた尤度ベースの異常検知が低レベル特徴によってバイアスを受ける理由を分析し、分布間の尤度比と最終スケールの尤度寄与を用いる二つの階層ベースの検出手法を提案する。強力な無監督性能と競争力のある有監督結果を示す。

ABSTRACT

Deep generative networks trained via maximum likelihood on a natural image dataset like CIFAR10 often assign high likelihoods to images from datasets with different objects (e.g., SVHN). We refine previous investigations of this failure at anomaly detection for invertible generative networks and provide a clear explanation of it as a combination of model bias and domain prior: Convolutional networks learn similar low-level feature distributions when trained on any natural image dataset and these low-level features dominate the likelihood. Hence, when the discriminative features between inliers and outliers are on a high-level, e.g., object shapes, anomaly detection becomes particularly challenging. To remove the negative impact of model bias and domain prior on detecting high-level differences, we propose two methods, first, using the log likelihood ratios of two identical models, one trained on the in-distribution data (e.g., CIFAR10) and the other one on a more general distribution of images (e.g., 80 Million Tiny Images). We also derive a novel outlier loss for the in-distribution network on samples from the more general distribution to further improve the performance. Secondly, using a multi-scale model like Glow, we show that low-level features are mainly captured at early scales. Therefore, using only the likelihood contribution of the final scale performs remarkably well for detecting high-level feature differences of the out-of-distribution and the in-distribution. This method is especially useful if one does not have access to a suitable general distribution. Overall, our methods achieve strong anomaly detection performance in the unsupervised setting, and only slightly underperform state-of-the-art classifier-based methods in the supervised setting. Code can be found at https://github.com/boschresearch/hierarchical_anomaly_detection.

研究の動機と目的

• 深層生成モデルがドメイン priors と低レベル特徴の支配により異常を誤認識する理由を説明する。
• 分布の階層と特徴の階層を用いてモデルのバイアスを緩和する方法を提案する。
• 画像データセットにおける無監督および有監督設定での異常検知性能を示す。
• 階層的な異常検知の実践的ガイダンスとコードを提供する。
• 分析を非画像ドメイン（医療MRI）に拡張し、より広い影響を議論する。

提案手法

• 自然画像上で最大尤度で訓練された Glow/invertible network のベースライン利用。
• 階層的分布を提案：in-distribution model p_in と general-distribution model p_g を対数尤度比として異常スコアで比較。
• 一般分布サンプル上で対数尤度比を用いるアウトライアーロス L_o を導出し、訓練を改善。
• 階層的特徴を活用：最終スケールの尤度寄与 c_3(x) が支配的で、異常スコアとして機能し得ることを示す。
• クラス条件付きのインディストリビューションモデルと他クラスからのネガティブサンプルを用いた有監督設定へ拡張。
• 一般分布が入手不能な場合でも最終スケールの尤度を用いると有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルを用いた尤度ベースの異常検知が自然画像で訓練されたとき、なぜ外れ値を誤ってランキング付けするのか。
• RQ2 分布の階層と特徴の階層は異常検知におけるモデルのバイアスを説明・緩和できるのか。
• RQ3 specific-in-distribution model と general-distribution model の間の対数尤度比は、データセットを超えて無監督の異常検知を改善するのか。
• RQ4 アウトライアーロスは、general-distribution サンプルへ向かってモデルを導くことで異常検知性能をさらに高めるのか。
• RQ5 最終スケール（高レベル）尤度寄与はモデルやデータセットを横断してどのように振る舞い、頑健な異常スコアとして機能するのか。

主な発見

• 低レベルのドメイン priors 特徴が畳み込み Glow モデルの尤度を支配し、高レベルの異常検知を妨げる。
• 完全連結 Glow の相関からの尤度は異なるため、低レベル特徴へモデルが偏っていることを示している。
• 分布の階層により有効な対数尤度比異常スコアリングが可能となり、しばしば生の尤度より優れている。
• general-distribution サンプルを用いたアウトライアーロスは無監督の異常検知を一貫して改善。
• last-scale の尤度寄与（z_3）を用いると、general-distribution データが利用不可な場合にも強力な異常信号を提供する。
• 有監督設定では、クラス条件付きモデルとアウトライアサンプルを組み合わせると、最先端の分類子ベース手法に迫る競争力のある結果が得られる。