[论文解读] Memory Augmented Generative Adversarial Networks for Anomaly Detection

Ziyi Yang, Teng Zhang+2 more|arXiv (Cornell University)|Feb 7, 2020

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文提出了一种新型异常检测框架——记忆增强生成对抗网络（MEMGAN），通过引入外部记忆模块来增强基于GAN的重构与检测能力。通过在记忆单元的凸包内强制编码的正常数据分布（利用记忆投影损失和互信息正则化），MEMGAN 实现了卓越的异常检测性能，具备解耦且可解释的记忆单元，并在 MNIST 和 CIFAR-10 数据集上达到最先进水平。

ABSTRACT

In this paper, we present a memory-augmented algorithm for anomaly detection. Classical anomaly detection algorithms focus on learning to model and generate normal data, but typically guarantees for detecting anomalous data are weak. The proposed Memory Augmented Generative Adversarial Networks (MEMGAN) interacts with a memory module for both the encoding and generation processes. Our algorithm is such that most of the extit{encoded} normal data are inside the convex hull of the memory units, while the abnormal data are isolated outside. Such a remarkable property leads to good (resp.\ poor) reconstruction for normal (resp.\ abnormal) data and therefore provides a strong guarantee for anomaly detection. Decoded memory units in MEMGAN are more interpretable and disentangled than previous methods, which further demonstrates the effectiveness of the memory mechanism. Experimental results on twenty anomaly detection datasets of CIFAR-10 and MNIST show that MEMGAN demonstrates significant improvements over previous anomaly detection methods.

研究动机与目标

• 为解决现有深度生成模型在异常检测中理论与实证保证较弱的问题，这些模型通常依赖于重构启发式方法，缺乏对异常分离的显式设计。
• 通过将记忆单元结构化为包围正常数据的凸包边界，提升记忆增强模型中记忆单元的可解释性与解耦性。
• 提供一种理论基础机制：正常数据被包含在记忆单元的凸包内部，而异常数据位于其外部，从而实现强检测保证。
• 通过实证验证 MEMGAN 在多种基准数据集上对最先进方法（包括 DSVDD、ADGAN 和 MEMAE）的优越性。
• 分析 MEMGAN 对超参数（如记忆单元数量）的鲁棒性与敏感性，确保其实际可部署性。

提出的方法

• MEMGAN 采用双向 GAN 架构，包含生成器 $G$、编码器 $E$ 和判别器 $D_{{\bm{x}}{\bm{z}}}$，并扩展了外部记忆模块以存储正常数据的特征。
• 模型引入记忆投影损失，确保编码的正常数据位于记忆单元的凸包内部，同时推动记忆单元向该凸包的边界移动。
• 引入互信息损失，通过最大化记忆单元与编码数据之间的信息量，促进记忆表征的解耦与可解释性。
• 通过可微分注意力机制更新记忆模块，支持端到端训练中的梯度传播。
• 推理阶段，解码器通过记忆单元的加权组合重构数据，异常分数基于重构误差计算。
• 理论分析表明，在合适的超参数设置下，最优记忆单元构成包围编码正常数据支撑集的凸多面体的顶点。

实验结果

研究问题

• RQ1 如何设计记忆增强 GAN，使其在异常检测方面相比标准自编码器或 GAN 方法提供更强的理论保证？
• RQ2 在记忆增强 GAN 中，编码的正常数据与记忆单元之间的几何关系是什么？如何在训练过程中加以强制？
• RQ3 与先前的记忆增强模型相比，记忆投影损失在多大程度上提升了记忆单元的解耦性与可解释性？
• RQ4 MEMGAN 在 MNIST 和 CIFAR-10 等多样化数据集上的性能与 DSVDD 和 ADGAN 等最先进方法相比如何？
• RQ5 MEMGAN 对记忆单元数量的变化是否具有鲁棒性？其性能对超参数选择的敏感性如何？

主要发现

• 在 MNIST 的十个数字类别中，MEMGAN 在七个类别上达到最高的平均 AUROC，并在全部十个类别的平均 AUROC 上表现最佳，显著优于 MEMAE 和 DSVDD。
• 在 CIFAR-10 上，MEMGAN 性能与 DSVDD 相当，优于 ADGAN 和 ALAD，在十个类别中有三个类别表现最佳，且平均 AUROC 最高。
• 消融实验表明，记忆投影损失至关重要：若无该损失，记忆单元会聚集在密集区域，无法形成合理的凸包，导致检测性能下降。
• MEMGAN 对记忆单元数量具有鲁棒性，在 MNIST 上从 25 到 200 个单元的范围内 AUROC 保持稳定，表明对这一超参数不敏感。
• 对解码记忆单元的可视化显示，其质量显著更高，且特征更具解耦性，支持了可解释性的主张。
• 理论分析确认，编码正常数据的支撑集构成一个凸多面体，最优记忆单元即为其顶点，为强异常检测保证提供了几何基础。