[论文解读] Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders

Gowthami Somepalli, Yexin Wu+3 more|arXiv (Cornell University)|Mar 24, 2020

Anomaly Detection Techniques and Applications参考文献 75被引用 10

一句话总结

本文提出对抗镜像自编码器（AMA），一种新颖的无监督异常检测方法，通过镜像Wasserstein损失提升重建质量，并通过单纯形插值和异常样本选择增强潜在空间紧凑性。AMA在多个分布外（OOD）检测基准上优于最先进方法，在CIFAR-10上实现最高3.7%的AUROC提升，在MNIST上实现1.7%的提升，适用于类别无关的异常检测设置。

ABSTRACT

Detecting out of distribution (OOD) samples is of paramount importance in all Machine Learning applications. Deep generative modeling has emerged as a dominant paradigm to model complex data distributions without labels. However, prior work has shown that generative models tend to assign higher likelihoods to OOD samples compared to the data distribution on which they were trained. First, we propose Adversarial Mirrored Autoencoder (AMA), a variant of Adversarial Autoencoder, which uses a mirrored Wasserstein loss in the discriminator to enforce better semantic-level reconstruction. We also propose a latent space regularization to learn a compact manifold for in-distribution samples. The use of AMA produces better feature representations that improve anomaly detection performance. Second, we put forward an alternative measure of anomaly score to replace the reconstruction-based metric which has been traditionally used in generative model-based anomaly detection methods. Our method outperforms the current state-of-the-art methods for anomaly detection on several OOD detection benchmarks.

研究动机与目标

• 为解决在CIFAR-10等多样化数据集上，标准对抗损失无法保留语义结构时，自编码器重建质量差的问题。
• 提升分布内样本的潜在空间紧凑性，以增强泛化能力与异常检测性能。
• 用基于训练重建误差分布的似然性度量替代传统基于重建的异常分数。
• 开发一种更鲁棒的潜在空间正则化器，将分布外样本从分布内流形中推开。

提出的方法

• 提出一种镜像Wasserstein损失，通过比较(x, x)与(x, x̂)的联合分布，强制实现像素级与结构级的重建保真度。
• 在潜在空间中应用单纯形插值，生成逼真的中间编码，确保分布内流形的平滑与紧凑。
• 采用异常样本选择方法，从分布内潜在空间边界附近采样合成的负样本编码，提升泛化能力。
• 提出一种基于训练重建误差分布中样本重建误差似然性的新型异常分数度量。
• 结合对抗训练与镜像Wasserstein GAN目标，提升生成器质量，且不依赖像素级Lp损失。
• 训练自编码器时使用判别器，以区分真实图像对(x, x)与重建图像对(x, x̂)，重点确保语义一致性。

实验结果

研究问题

• RQ1 在CIFAR-10等多样化数据集上，镜像Wasserstein损失是否能改善标准GAN无法保留语义结构时的重建质量？
• RQ2 通过单纯形插值与异常样本选择实现的潜在空间正则化，是否能为分布内样本生成更紧凑且可泛化的表示？
• RQ3 基于重建误差分布的似然性异常分数是否能超越传统基于重建的度量在OOD检测中的表现？
• RQ4 在挑战性OOD检测场景中，尤其是异常样本与正常样本来自同一数据流形时，所提方法与最先进方法相比表现如何？

主要发现

• 在CIFAR-10上检测来自SVHN、ImageNet和CIFAR-100的异常时，AMA相较于次优方法实现3.7%的AUROC提升。
• 在MNIST上检测来自其他MNIST类数据集的异常时，AMA相较于第二优方法实现1.7%的AUROC提升。
• 消融实验表明，移除镜像Wasserstein损失会使AUROC降低约0.1分，表明其在重建质量中的关键作用。
• 异常样本选择优于标准负采样方法，在SVHN与CIFAR-10之间插值时，AUROC达0.993，而标准采样仅为0.896。
• 当正常分布比OOD分布更具多样性时（如CIFAR-10与SVHN），新异常评分度量显著提升性能。
• AMA在极具挑战性的CIFAR-10与CIFAR-100设置下仍保持强性能，尽管所有模型（包括AMA）因数据高度相似而表现有限。