[论文解读] DOPING: Generative Data Augmentation for Unsupervised Anomaly Detection with GAN

Swee Kiat Lim, Yi Loo+4 more|arXiv (Cornell University)|Aug 23, 2018

Anomaly Detection Techniques and Applications被引用 7

一句话总结

本文提出 DOPING，一种新颖的无监督数据增强方法，通过使用对抗自编码器（AAE）生成罕见正常样本，以提升异常检测性能。通过将高维多模态数据转换为具有明确尾部特征的单模态潜在空间，DOPING 在该空间的边缘区域进行有策略的过采样，从而减少误报率，在无需标签的情况下，于多种真实世界数据集上实现了最先进性能。

ABSTRACT

Recently, the introduction of the generative adversarial network (GAN) and its variants has enabled the generation of realistic synthetic samples, which has been used for enlarging training sets. Previous work primarily focused on data augmentation for semi-supervised and supervised tasks. In this paper, we instead focus on unsupervised anomaly detection and propose a novel generative data augmentation framework optimized for this task. In particular, we propose to oversample infrequent normal samples - normal samples that occur with small probability, e.g., rare normal events. We show that these samples are responsible for false positives in anomaly detection. However, oversampling of infrequent normal samples is challenging for real-world high-dimensional data with multimodal distributions. To address this challenge, we propose to use a GAN variant known as the adversarial autoencoder (AAE) to transform the high-dimensional multimodal data distributions into low-dimensional unimodal latent distributions with well-defined tail probability. Then, we systematically oversample at the `edge' of the latent distributions to increase the density of infrequent normal samples. We show that our oversampling pipeline is a unified one: it is generally applicable to datasets with different complex data distributions. To the best of our knowledge, our method is the first data augmentation technique focused on improving performance in unsupervised anomaly detection. We validate our method by demonstrating consistent improvements across several real-world datasets.

研究动机与目标

• 为解决无监督异常检测中因对罕见正常样本表征不足而导致的高误报率问题。
• 开发一种无需依赖类别标签即可提升异常检测性能的数据增强框架。
• 克服在高维、多模态数据分布中生成罕见正常样本的挑战。
• 统一适用于具有复杂非高斯分布的多样化数据集的数据增强方法。

提出的方法

• 在完整训练集上训练无标签的对抗自编码器（AAE），将高维数据映射到具有多元高斯先验的低维潜在空间。
• 利用 AAE 的潜在空间，将复杂多模态数据分布转换为具有清晰尾部分布概率的单模态、定义明确的分布。
• 系统性地在潜在分布的边缘区域进行过采样，以生成合成的罕见正常样本。
• 在潜在空间中应用基于边缘的采样策略，以定位易被误分类的低概率正常实例。
• 从潜在空间解码生成逼真的合成正常样本，从而增加正常分布中代表性不足区域的密度。
• 将生成的样本整合到训练集中，以提升异常检测器对罕见正常事件与异常事件的区分能力。

实验结果

研究问题

• RQ1 针对罕见正常样本的定向数据增强是否能降低无监督异常检测中的误报率？
• RQ2 在无类别标签的情况下，如何有效生成高维、多模态数据分布中的罕见正常样本？
• RQ3 通过 AAE 实现的单模态潜在空间是否能提升异常检测模型的泛化能力和鲁棒性？
• RQ4 是否可以设计一种统一的、无需标签的数据增强策略，有效应用于具有复杂数据分布的多样化真实世界数据集？
• RQ5 在无标签条件下，DOPING 与 SMOTE 和 INOS 等标准数据增强技术相比表现如何？

主要发现

• DOPING 在所有测试数据集中一致提升了 F1 分数和 G-measure，优于基线 iForest 及其他增强方法。
• 在乳腺X光数据集中，DOPING 达到 F1 分数 0.787 和 G-measure 0.807，尽管数据集复杂，仍表现出色。
• 在甲状腺数据集中，DOPING 达到 F1 分数 0.754 和 G-measure 0.775，证明其在低污染率表格数据上的有效性。
• 在淋巴结数据集中，DOPING 达到 F1 分数 0.665 和 G-measure 0.750，表明其能有效检测罕见正常模式。
• AUC 与 l²-范数的趋势在各数据集中保持一致，验证了该方法识别并生成低密度区域样本的能力。
• DOPING 通过增加罕见正常样本的密度，降低了误报率，这些样本原本容易被误分类为异常。