[論文レビュー] Anomaly Detection With Multiple-Hypotheses Predictions

Duc Tam Nguyen, Zhongyu Lou+2 more|arXiv (Cornell University)|Oct 31, 2018

Anomaly Detection Techniques and Applications被引用数 36

ひとこと要約

本稿では、複数の仮説に基づく変分オートエンコーダーに識別器を組み合わせることで、単一の仮説モデルよりも複雑で多様なデータ分布をより正確にモデル化することを目的としたConADを提案する。敵対的学習によって仮説間の整合性と多様性を強制することで、CIFAR-10では最大3.9%のAUROC向上を達成し、実世界の異常検出タスクでは誤差を6.8%から1.5%に低減した。

ABSTRACT

In one-class-learning tasks, only the normal case (foreground) can be modeled with data, whereas the variation of all possible anomalies is too erratic to be described by samples. Thus, due to the lack of representative data, the wide-spread discriminative approaches cannot cover such learning tasks, and rather generative models, which attempt to learn the input density of the foreground, are used. However, generative models suffer from a large input dimensionality (as in images) and are typically inefficient learners. We propose to learn the data distribution of the foreground more efficiently with a multi-hypotheses autoencoder. Moreover, the model is criticized by a discriminator, which prevents artificial data modes not supported by data, and enforces diversity across hypotheses. Our multiple-hypothesesbased anomaly detection framework allows the reliable identification of out-of-distribution samples. For anomaly detection on CIFAR-10, it yields up to 3.9% points improvement over previously reported results. On a real anomaly detection task, the approach reduces the error of the baseline models from 6.8% to 1.5%.

研究の動機と目的

• 異常サンプルがまれまたは定義されていない一クラス異常検出の課題に対処する。
• 画像のような高次元データにおいて、ぼやけた再構成を生じさせ、誤って正常とみなしてしまう標準オートエンコーダーの限界を克服する。
• 単一の平均予測ではなく、複数の仮説を用いて正常データ分布の多様なモード構造を捉えることで、生成モデルの性能を向上させる。
• 識別器をクライアントとして導入することで、マルチハイポセシスネットワークにおけるモード崩壊や人工的データモードの生成を防ぎ、真のデータ分布と整合性を保つ。
• ハイパーパrameterの選択に敏感でない、スケーラブルで頑健なフレームワークを構築する。

提案手法

• 各仮説がデータ分布の異なるモードを表すように、複数のヘッドを持つデコーダーを変分オートエンコーダーに適用する。
• 最良の仮説に学習信号を割り当てるためのウィンナー・トゥー・アール（WTA）損失を用いるが、整合性が保たれなかったり現実的でない仮説に対しては識別器によるペナルティを導入する。
• 各仮説再構成の現実性を評価する識別器Dを導入し、真のデータ分布と整合性を保ちつつ多様性を促進する。
• 入力に最も近い仮説の尤度を異常スコアとして用いることで、分布外のサンプルを微細に検出可能にする。
• 上位10%の高リジッドピクセルを合算するリジッドベースの異常スコア戦略を適用し、高次元入力空間からのノイズを低減する。
• VAEの潜在空間モデリングと敵対的学習を組み合わせることで、学習を安定化させ、人工的データモードの生成を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 一クラス異常検出において、単一仮説モデルと比較して、複数仮説ネットワークは複雑で多様なデータ分布のモデリングをどのように改善するか？
• RQ2 識別器を用いた敵対的学習は、オートエンコーダーに基づく異常検出における複数仮説の整合性と多様性にどのように影響するか？
• RQ3 特に高次元画像空間において、仮説数の増加に伴っても、提案フレームワークは頑健で高性能を維持できるか？
• RQ4 複数の仮説再構成における局所的近傍類似度に注目することで、微細な異常を信頼性高く検出できるか？
• RQ5 識別器の導入により、マルチハイポセシスネットワークにおけるモード崩壊や人工的データモード生成に起因する性能低下はどの程度軽減されるか？

主な発見

• ConADは、以前に報告された結果と比較して、CIFAR-10の異常検出ベンチマークで最大3.9%のAUROC向上を達成した。
• 実世界の金属異常検出データセットでは、ベースラインの6.8%からConADでは1.5%に誤差率が低下し、実用的性能が顕著に向上した。
• 最大8つの仮説でも高い性能を維持した一方で、標準的なMHPおよびMDNベースのモデルは、仮説数の増加に伴い急速に性能が低下した。
• ConADは、標準偏差が著しく低い（例：0.1–0.5 AUROC）のに対し、ベースラインモデルは最大±3.5まで変動するなど、訓練の安定性が著しく優れていた。
• 識別器Dの導入により、人工的データモードの生成が防止され、仮説数の変化に対する感受性も低減し、フレームワーク全体の頑健性と適応性が向上した。
• MDNベースのモデルがモード崩壊のため通常は性能を発揮しない高次元画像空間においても、ConADは標準MHPおよびMDNベースのモデルを上回った。