[论文解读] Self-adversarial Variational Autoencoder with Gaussian Anomaly Prior Distribution for Anomaly Detection.

Xuhong Wang, Ying Du+3 more|arXiv (Cornell University)|Mar 3, 2019

Anomaly Detection Techniques and Applications参考文献 52被引用 14

一句话总结

本文提出了一种自对抗变分自编码器，通过引入高斯异常先验以提升无监督异常检测性能。通过训练一个高斯变换器来合成接近正常但具有差异的异常潜在变量，并在生成器和编码器中加入对抗性目标，模型增强了判别能力并减少了过拟合，在基准数据集上实现了最先进性能。

ABSTRACT

Recently, deep generative models have become increasingly popular in unsupervised anomaly detection. However, deep generative models aim at recovering the data distribution rather than detecting anomalies. Besides, deep generative models have the risk of overfitting training samples, which has disastrous effects on anomaly detection performance. To solve the above two problems, we propose a Self-adversarial Variational Autoencoder with a Gaussian anomaly prior assumption. We assume that both the anomalous and the normal prior distribution are Gaussian and have overlaps in the latent space. Therefore, a Gaussian transformer net T is trained to synthesize anomalous but near-normal latent variables. Keeping the original training objective of Variational Autoencoder, besides, the generator G tries to distinguish between the normal latent variables and the anomalous ones synthesized by T, and the encoder E is trained to discriminate whether the output of G is real. These new objectives we added not only give both G and E the ability to discriminate but also introduce additional regularization to prevent overfitting. Compared with the SOTA baselines, the proposed model achieves significant improvements in extensive experiments. Datasets and our model are available at a Github repository.

研究动机与目标

• 解决深度生成模型在学习数据分布后仍难以检测异常的问题。
• 缓解对训练样本的过拟合，从而降低异常检测性能。
• 通过在潜在空间中引入对抗性训练，提升模型的判别能力。
• 将正常和异常数据分布形式化为潜在空间中的高斯分布，以实现对异常样本的可控合成。

提出的方法

• 假设正常和异常数据在潜在空间中均服从高斯分布，从而实现重叠，以实现对异常的逼真建模。
• 引入一个高斯变换器网络 T，用于合成接近正常但具有差异的异常潜在变量。
• 在保持原始VAE目标的同时，增加对抗性训练：生成器 G 用于区分真实正常潜在变量与合成的异常潜在变量。
• 编码器 E 被训练以判断生成器输出是真实还是伪造，从而增强其判别能力。
• 对抗性训练提供了正则化，减少了对正常训练样本的过拟合。
• 模型联合优化重构损失、KL散度和对抗性目标，以提升泛化能力。

实验结果

研究问题

• RQ1 在潜在空间中，对正常和异常数据共享一个高斯先验，是否能在不依赖显式异常数据的情况下提升异常检测性能？
• RQ2 潜在空间中的对抗性训练在提升模型异常检测能力的同时，如何防止过拟合？
• RQ3 与标准VAE相比，引入合成异常先验在多大程度上提升了泛化能力？
• RQ4 自对抗机制是否能在无需额外监督的情况下，提升正常与异常样本之间的判别能力？

主要发现

• 所提出的模型在多个基准数据集上实现了无监督异常检测的最先进性能。
• 对抗性训练组件显著减少了对正常训练样本的过拟合，提升了泛化能力。
• 高斯变换器成功生成了合理且接近正常分布但可区分的异常潜在变量。
• 模型在保持强重构质量的同时，通过引入对抗性目标增强了异常判别能力。
• 消融实验证实，高斯异常先验和自对抗机制均对性能提升有贡献。
• 该模型的代码和数据集已在GitHub上公开，便于复现和进一步研究。