[论文解读] Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection

Dong Gong, Lingqiao Liu+5 more|arXiv (Cornell University)|Apr 4, 2019

Anomaly Detection Techniques and Applications参考文献 49被引用 143

一句话总结

MemAE通过引入内存模块和稀疏注意力来增强自编码器，以记忆正常模式，从而提升在图像、视频和网络安全数据上的无监督异常检测性能。

ABSTRACT

Deep autoencoder has been extensively used for anomaly detection. Training on the normal data, the autoencoder is expected to produce higher reconstruction error for the abnormal inputs than the normal ones, which is adopted as a criterion for identifying anomalies. However, this assumption does not always hold in practice. It has been observed that sometimes the autoencoder "generalizes" so well that it can also reconstruct anomalies well, leading to the miss detection of anomalies. To mitigate this drawback for autoencoder based anomaly detector, we propose to augment the autoencoder with a memory module and develop an improved autoencoder called memory-augmented autoencoder, i.e. MemAE. Given an input, MemAE firstly obtains the encoding from the encoder and then uses it as a query to retrieve the most relevant memory items for reconstruction. At the training stage, the memory contents are updated and are encouraged to represent the prototypical elements of the normal data. At the test stage, the learned memory will be fixed, and the reconstruction is obtained from a few selected memory records of the normal data. The reconstruction will thus tend to be close to a normal sample. Thus the reconstructed errors on anomalies will be strengthened for anomaly detection. MemAE is free of assumptions on the data type and thus general to be applied to different tasks. Experiments on various datasets prove the excellent generalization and high effectiveness of the proposed MemAE.

研究动机与目标

• 激励并解决在仅用正常数据训练时，标准深度自编码器对异常能被良好重建的问题。
• 提出 MemAE，一种通过检索典型的正常模式来约束重构的记忆增强自编码器。
• 展示 MemAE 在图像、视频和网络安全异常检测任务中的通用性与有效性。

提出的方法

• 使用编码器将输入编码为潜在表示 z。
• 将 z 作为查询，通过基于注意力的寻址检索相关的记忆项。
• 聚合检索到的记忆项，形成用于解码器的重构潜在表示。
• 端到端训练，目标函数包含重构损失以及对记忆寻址权重施加稀疏性鼓励的熵损失。
• 对记忆寻址施加硬阈值收缩以促进稀疏寻址，并重新归一化 ẑ 的权重。
• 在训练过程中更新内存内容以捕捉典型的正常模式；在测试时，重构使用少量正常内存项。

实验结果

研究问题

• RQ1 通过将重构约束为典型正常模式，带内存的自编码器是否能提升无监督异常检测的效果？
• RQ2 稀疏、基于注意力的内存寻址是否有助于防止过度泛化并在不同数据域中提升异常分数？
• RQ3 MemAE 是否能够在不依赖数据类型特定假设的情况下，跨图像、视频和网络安全数据集实现泛化？

主要发现

数据集	OC-SVM	KDE	VAE	PixCNN	DSEBM	AE	MemAE-nonSpar	MemAE
MNIST	0.9499	0.8116	0.9643	0.6141	0.9554	0.9619	0.9725	0.9751
CIFAR-10	0.5619	0.5756	0.5725	0.5450	0.5725	0.5706	0.6058	0.6088

• MemAE 在图像异常检测（MNIST 和 CIFAR-10）上，通常优于若干基线和 AE 变体，具有更高的 AUC 分数。
• 记忆增强变体（MemAE 和 MemAE-nonSpar）优于 AE，稀疏寻址带来进一步提升。
• 在视频异常检测方面，MemAE 在 UCSD-Ped2、CUHK Avenue 和 ShanghaiTech 数据集上实现的 AUC 高于其他基于重构的方法，同时保持每帧延迟较快（约 38 fps）。
• MemAE 在网络安全数据（KDDCUP）上表现出色，获得比若干基线更高的精确度、召回率和 F1。
• 消融研究证实硬阈值收缩和基于熵的稀疏性损失对于最佳性能都很重要。