[論文レビュー] Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders

Gowthami Somepalli, Yexin Wu+3 more|arXiv (Cornell University)|Mar 24, 2020

Anomaly Detection Techniques and Applications参考文献 75被引用数 10

ひとこと要約

本稿では、鏡像 Wasserstein 損失を用いて再構成品質を向上させるとともに、単形子補間と特異的選択を用いて潜在空間のcompactさを高める、新たな教師なし異常検出手法である Adversarial Mirrored Autoencoders (AMA) を提案する。AMA は複数の OOD 検出ベンチマークで最先端手法を上回り、CIFAR-10 ではクラスに依存しない異常検出設定で最大 3.7% の AUROC 向上を達成し、MNIST では 1.7% の向上を示した。

ABSTRACT

Detecting out of distribution (OOD) samples is of paramount importance in all Machine Learning applications. Deep generative modeling has emerged as a dominant paradigm to model complex data distributions without labels. However, prior work has shown that generative models tend to assign higher likelihoods to OOD samples compared to the data distribution on which they were trained. First, we propose Adversarial Mirrored Autoencoder (AMA), a variant of Adversarial Autoencoder, which uses a mirrored Wasserstein loss in the discriminator to enforce better semantic-level reconstruction. We also propose a latent space regularization to learn a compact manifold for in-distribution samples. The use of AMA produces better feature representations that improve anomaly detection performance. Second, we put forward an alternative measure of anomaly score to replace the reconstruction-based metric which has been traditionally used in generative model-based anomaly detection methods. Our method outperforms the current state-of-the-art methods for anomaly detection on several OOD detection benchmarks.

研究の動機と目的

• CIFAR-10 などの多様なデータセットにおいて、従来の adversarial 損失が意味的構造を保持できないため、オートエンコーダーの再構成品質が低い問題に対処すること。
• 分布内サンプルの潜在空間の compact さを向上させ、より良い一般化と異常検出を可能にすること。
• 従来の再構成ベースの異常スコアを、訓練時の再構成スコアの分布に基づく尤度に類似した指標に置き換えること。
• 分布内多様体から OOD サンプルを遠ざけるより頑健な潜在空間正則化子を開発すること。

提案手法

• ピクセルおよび構造レベルの再構成忠実度を保証するため、(x, x) と (x, x̂) の同時分布を比較する鏡像 Wasserstein 損失を導入する。
• 潜在空間における単形子補間を適用して、現実的で滑らかで compact な分布内多様体を生成する。
• 分布内潜在空間の境界付近から特異的（atypical）なサンプルを選び、一般化性能を向上させる。
• 訓練時の再構成誤差の分布に基づく尤度に類似した指標を用いて、再構成誤差の尤度に基づく新しい異常スコア指標を提案する。
• ピクセル単位の Lp 損失に依存せずに、生成器の品質を向上させるために adversarial 学習と鏡像 Wasserstein GAN 目的関数を組み合わせる。
• 実画像ペア (x, x) と再構成ペア (x, x̂) を区別するディスクライマーを用いて、意味的整合性に焦点を当てたオートエンコーダーを訓練する。

実験結果

リサーチクエスチョン

• RQ1 標準的な GAN が意味的構造を保持できないような多様なデータセット（例：CIFAR-10）において、鏡像 Wasserstein 損失が再構成品質を向上させることができるか？
• RQ2 単形子補間と特異的選択による潜在空間正則化は、分布内サンプルのより compact で一般化可能な表現をもたらすか？
• RQ3 再構成誤差の分布に基づく尤度に類似した異常スコア指標は、従来の再構成ベースの指標を上回る性能を示せるか？
• RQ4 特に異常が同じデータ多様体から来ることを想定した困難な OOD 検出シナリオにおいて、本手法は最先端手法と比較してどのように性能を発揮するか？

主な発見

• SVHN、ImageNet、CIFAR-100 からの異常を検出する際、CIFAR-10 で AMA は次に優れた手法よりも 3.7% の AUROC 向上を達成した。
• 他の MNIST に類似したデータセットからの異常を検出する際、MNIST で AMA は 2 番目に優れた手法よりも 1.7% の AUROC 向上を達成した。
• アブレーションスタディの結果、鏡像 Wasserstein 損失を削除すると AUROC が約 0.1 ポints 減少し、再構成品質の観点でその重要性が示された。
• 特異的選択は標準的なネガティブサンプリング手法を上回り、単形子補間を用いた場合の SVHN 対 CIFAR-10 での AUROC は 0.993 であったのに対し、標準的サンプリングでは 0.896 にとどまった。
• 正常分布が OOD 分布よりも多様性が高い状況（例：CIFAR-10 対 SVHN）では、新しい異常スコア指標が顕著な性能向上をもたらした。
• CIFAR-10 対 CIFAR-100 の挑戦的な設定でも AMA は強い性能を維持したが、すべてのモデル（AMA を含む）は、データ類似度が高いため限界性能にとどまった。