[论文解读] MDGAN: Boosting Anomaly Detection Using \\\\Multi-Discriminator Generative Adversarial Networks

Yotam Intrator, Gilad Katz+1 more|arXiv (Cornell University)|Oct 11, 2018

Anomaly Detection Techniques and Applications被引用 12

一句话总结

本文提出MDGAN，一种多判别器生成对抗网络架构，通过生成高质量、逼真的'正常'样本以增强训练数据，从而提升单类异常检测性能。通过使用密集判别器确保样本真实性，以及使用自编码器判别器强制保证重建保真度，MDGAN同时提升了生成器质量与自编码器鲁棒性，在多种数据集上的AUC性能显著优于基线方法。

ABSTRACT

Anomaly detection is often considered a challenging field of machine learning due to the difficulty of obtaining anomalous samples for training and the need to obtain a sufficient amount of training data. In recent years, autoencoders have been shown to be effective anomaly detectors that train only on "normal" data. Generative adversarial networks (GANs) have been used to generate additional training samples for classifiers, thus making them more accurate and robust. However, in anomaly detection GANs are only used to reconstruct existing samples rather than to generate additional ones. This stems both from the small amount and lack of diversity of anomalous data in most domains. In this study we propose MDGAN, a novel GAN architecture for improving anomaly detection through the generation of additional samples. Our approach uses two discriminators: a dense network for determining whether the generated samples are of sufficient quality (i.e., valid) and an autoencoder that serves as an anomaly detector. MDGAN enables us to reconcile two conflicting goals: 1) generate high-quality samples that can fool the first discriminator, and 2) generate samples that can eventually be effectively reconstructed by the second discriminator, thus improving its performance. Empirical evaluation on a diverse set of datasets demonstrates the merits of our approach.

研究动机与目标

• 解决单类异常检测中异常训练数据有限且缺乏多样性的挑战。
• 克服现有生成对抗网络在异常检测中的局限性，即仅能重建真实样本而非生成新样本。
• 通过生成增强泛化能力的合成正常样本，提升基于自编码器的异常检测器性能。
• 调和两个相互冲突的目标：生成能欺骗真实性判别器的高保真样本，以及能被自编码器有效重建的样本。

提出的方法

• 提出一种新型生成对抗网络架构，包含两个判别器：一个全连接神经网络（D1）用于评估样本的真实性，一个训练过的自编码器（D2）用于测量重建误差。
• 训练生成器以最小化对D1的对抗损失和对D2的重建损失，平衡样本质量和重建效用。
• 采用两阶段训练策略，使生成器学习生成既难以与真实数据区分又可被自编码器有效重建的样本。
• 应用预热阶段以稳定训练，但实证结果表明其并未持续提升性能，反而可能抑制多样性。
• 基于验证性能采用早停策略以防止过拟合，分析显示更长的训练时间与更优结果相关。
• 在十个具有不同维度和样本规模的多样化数据集上评估模型，以评估泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 多判别器生成对抗网络架构能否有效生成合成正常样本，从而提升单类异常检测性能？
• RQ2 真实性判别器（D1）与基于重建的判别器（D2）的联合训练是否能带来优于标准生成对抗网络或自编码器的泛化性能？
• RQ3 训练动态（特别是损失收敛性和早停策略）如何影响最终的异常检测性能？
• RQ4 数据集维度和训练集规模对MDGAN提升检测性能的能力有何影响？
• RQ5 MDGAN训练中的预热阶段是否能持续提升模型性能，还是会限制生成器生成多样化、高挑战性样本的能力？

主要发现

• MDGAN在所测试的十个数据集中的大多数中显著优于广泛使用的基准模型，AUC得分持续提升。
• 表现最佳的MDGAN模型在生成样本上的D1损失更高，表明更难被欺骗（即更具挑战性）的样本与整体性能更优相关。
• 生成器在自编码器判别器（D2）上的损失收敛更慢，与更优的检测性能相关，表明更困难的重建任务可提升泛化能力。
• 预热阶段并未持续提升性能，反而可能降低生成器多样性，因为预热阶段生成的样本与真实数据过于相似。
• MDGAN在高维数据集上表现最佳；在特征最少的两个数据集上未能提升性能，表明其在复杂高维空间中优势更明显。
• 训练时间短于30个周期的早停情况与更低的AUC性能强相关，表明MDGAN需要更长的训练时间以有效满足多重约束。