[論文レビュー] Self-adversarial Variational Autoencoder with Gaussian Anomaly Prior Distribution for Anomaly Detection.

Xuhong Wang, Ying Du+3 more|arXiv (Cornell University)|Mar 3, 2019

Anomaly Detection Techniques and Applications参考文献 52被引用数 14

ひとこと要約

本論文は、自己対抗的変分オートエンコーダーを提案し、ガウス型の異常事前分布を導入することで、教師なし異常検出を向上させる。ガウス型トランスフォーマーを訓練して、ほぼ正常に近い異常な潜在変数を合成し、生成器およびエンコーダーに対抗的目的関数を追加することで、分類能を向上させるとともに、過学習を軽減し、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Recently, deep generative models have become increasingly popular in unsupervised anomaly detection. However, deep generative models aim at recovering the data distribution rather than detecting anomalies. Besides, deep generative models have the risk of overfitting training samples, which has disastrous effects on anomaly detection performance. To solve the above two problems, we propose a Self-adversarial Variational Autoencoder with a Gaussian anomaly prior assumption. We assume that both the anomalous and the normal prior distribution are Gaussian and have overlaps in the latent space. Therefore, a Gaussian transformer net T is trained to synthesize anomalous but near-normal latent variables. Keeping the original training objective of Variational Autoencoder, besides, the generator G tries to distinguish between the normal latent variables and the anomalous ones synthesized by T, and the encoder E is trained to discriminate whether the output of G is real. These new objectives we added not only give both G and E the ability to discriminate but also introduce additional regularization to prevent overfitting. Compared with the SOTA baselines, the proposed model achieves significant improvements in extensive experiments. Datasets and our model are available at a Github repository.

研究の動機と目的

• 深層生成モデルがデータ分布を学習しても、異常検出に限界を示す問題に対処すること。
• 訓練サンプルに過学習することによる、異常検出性能の低下を緩和すること。
• 潜在空間における対抗的訓練を導入することで、モデルの識別能力を向上させること。
• 正常および異常データの両方の分布を潜在空間でガウス分布として形式化し、異常サンプルの制御された合成を可能とすること。

提案手法

• 正常および異常データが潜在空間でガウス分布に従うと仮定し、現実的な異常モデリングが可能な重ね合わせを可能にする。
• 異常な潜在変数を正常に近いが明確に異なるものとして合成するためのガウス型トランスフォーマーネットワーク T を導入する。
• 元のVAEの目的関数を維持しつつ、対抗的訓練を追加する：生成器 G は、実際の正常な潜在変数と合成された異常なものを区別する。
• エンコーダー E は、生成器の出力が本物か偽物かを検出するように訓練され、その識別能力が向上する。
• 対抗的訓練により正則化が行われ、正常な訓練サンプルへの過学習が軽減される。
• 再構成誤差、KLダイバージェンス、および対抗的目的関数を同時に最適化することで、一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における正常および異常データの共有ガウス事前分布が、明示的な異常データを必要とせずに異常検出を向上させることができるか？
• RQ2 潜在空間における対抗的訓練が、過学習を防ぎつつ、異常検出能力をどのように向上させるか？
• RQ3 標準的なVAEと比較して、合成異常事前分布を導入することで、一般化性能がどの程度向上するか？
• RQ4 追加の教師信号なしに、自己対抗的メカニズムが正常と異常サンプルの識別をどのように向上させるか？

主な発見

• 提案されたモデルは、教師なし異常検出の複数のベンチマークデータセットで最先端の性能を達成した。
• 対抗的訓練のコンponentが、正常な訓練サンプルへの過学習を顕著に軽減し、一般化性能を向上させた。
• ガウス型トランスフォーマーは、正常分布に近いが識別可能な妥当な異常潜在変数を効果的に生成した。
• 追加の対抗的目的関数により、再構成品質を維持しながら、異常識別能が向上した。
• アブレーションスタディにより、ガウス型異常事前分布および自己対抗的メカニズムの両方が性能向上に寄与していることが確認された。
• モデルのコードおよびデータセットはGitHubで公開されており、再現性およびさらなる研究を促進している。