[論文レビュー] Unsupervised Learning of Anomaly Detection from Contaminated Image Data using Simultaneous Encoder Training

Amanda Berg, Jörgen Ahlberg+1 more|arXiv (Cornell University)|May 27, 2019

Anomaly Detection Techniques and Applications参考文献 34被引用数 31

ひとこと要約

本稿では、異常が混入したトレーニングデータに対しても頑健である画像データ向けの新しい教師なし異常検出手法を提案する。画像距離損失を用いて生成器と画像から潜在空間へのエンコーダーを同時に学習させることで、潜在空間が階層化され、異常サンプルの潜在ベクトルノルムが通常のサンプルと比べて著しく短くなるように構造化される。この手法により、CIFAR-10および大規模な細胞画像データセットにおいても、トレーニングデータに異常が混入している状況でも最先端のAUC性能を達成する。

ABSTRACT

Unsupervised learning of anomaly detection in high-dimensional data, such as images, is a challenging problem recently subject to intense research. Through careful modelling of the data distribution of normal samples, it is possible to detect deviant samples, so called anomalies. Generative Adversarial Networks (GANs) can model the highly complex, high-dimensional data distribution of normal image samples, and have shown to be a suitable approach to the problem. Previously published GAN-based anomaly detection methods often assume that anomaly-free data is available for training. However, this assumption is not valid in most real-life scenarios, a.k.a. in the wild. In this work, we evaluate the effects of anomaly contaminations in the training data on state-of-the-art GAN-based anomaly detection methods. As expected, detection performance deteriorates. To address this performance drop, we propose to add an additional encoder network already at training time and show that joint generator-encoder training stratifies the latent space, mitigating the problem with contaminated data. We show experimentally that the norm of a query image in this stratified latent space becomes a highly significant cue to discriminate anomalies from normal data. The proposed method achieves state-of-the-art performance on CIFAR-10 as well as on a large, previously untested dataset with cell images.

研究の動機と目的

• トレーニングデータに異常が混入している場合の、最先端のGANベース異常検出手法への影響を調査すること。
• 既存の教師なしGANベースアプローチにおいて、トレーニングデータの汚染が検出性能を低下させることの原因を特定し、その是正を行うこと。
• トレーニングデータに異常が含まれても効果的に機能する真正の教師なし異常検出手法を開発すること。
• 画像距離損失を用いたジェネレータとエンコーダーの共同学習が、潜在空間の階層化を促進し、異常検出の頑健性を向上させることを示すこと。
• 現実的で汚染されたトレーニング条件下でも、CIFAR-10および大規模な細胞画像データセットの両方で最先端の性能を達成すること。

提案手法

• 本手法は、生成器と画像から潜在空間へのエンコーダーを同時に学習するフレームワークを導入し、エンコーダーの損失関数として画像空間におけるL2距離に基づく損失を用いる。
• エンコーダーの損失は、類似した画像が潜在空間でも近接してマッピングされるように制約を課し、階層的な潜在空間構造を形成する。
• 異常検出は、クエリ画像の潜在ベクトルのL2ノルムを測定することで行う。ノルムが短いほど異常と判定される。
• 正規化された残差損失（L_n）とノルムベース損失（L_o）の凸結合を最終的な異常スコアとして用いる。
• CIFAR-10および異常混入率を変化させた大規模なKTH-Cellvideosデータセットを用いて、AUCスコアを評価する。
• t-SNE可視化を用いて、共同学習の前後における潜在空間内での正常サンプルと異常サンプルの分布を分析する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータに異常が存在する場合、最先端のGANベース異常検出手法の性能にどのような影響を与えるか？
• RQ2 画像距離に基づく損失を用いたジェネレータとエンコーダーの共同学習は、トレーニングデータの異常混入に対して性能を向上させられるか？
• RQ3 画像距離に基づくエンコーダー損失の使用は、異常検出性能を向上させるようなより階層的な潜在空間を形成するか？
• RQ4 階層的な潜在空間において、潜在ベクトルのノルムは正常サンプルと異常サンプルを識別するのに信頼できる指標となるか？
• RQ5 提案手法は、標準的および実世界のデータセットにおいて、異常混入したトレーニングデータ下でも最先端の性能を達成できるか？

主な発見

• 提案手法は、KTH-CellvideosデータセットでAUC 0.90、CIFAR-10で2%の異常混入下でAUC 0.72を達成し、f-AnoGANや他のベースラインを上回る性能を示した。
• 2%の異常混入下では、f-AnoGANのAUCはKTH-Cellvideosで0.43、CIFAR-10で0.44に低下し、顕著な性能劣化が確認された。
• 画像距離損失を用いたジェネレータとエンコーダーの共同学習により、異常サンプルの潜在ベクトルノルムが通常のサンプルと比べて著しく短くなる階層的な潜在空間が形成された。
• 正規化された残差損失とノルムベース損失を組み合わせた本手法の異常スコアは、汚染されたデータ下でKTH-Cellvideosで最高のAUC 0.90、CIFAR-10で0.72を達成した。
• t-SNE可視化により、本手法はf-AnoGANと比較して、潜在空間内での正常と異常サンプルのクラスタリングがより明確に分離されていることが確認された。
• 本手法は2%の異常混入下でも高い性能を維持している一方、f-AnoGANは同様の条件下で一貫した性能低下を示した。