[论文解读] Deep Structured Energy Based Models for Anomaly Detection

Shuangfei Zhai, Yu Cheng+2 more|arXiv (Cornell University)|May 25, 2016

Anomaly Detection Techniques and Applications参考文献 24被引用 255

一句话总结

本文提出 Deep Structured Energy Based Models (DSEBMs)，使用由全连接、循环和卷积结构构成的基于能量的网络来建模数据分布，通过分数匹配进行训练以实现高效的异常检测。它在静态、时序和时空数据上比较能源基准与重构误差的决策标准，结果与基线相比具有竞争力或更优。

ABSTRACT

In this paper, we attack the anomaly detection problem by directly modeling the data distribution with deep architectures. We propose deep structured energy based models (DSEBMs), where the energy function is the output of a deterministic deep neural network with structure. We develop novel model architectures to integrate EBMs with different types of data such as static data, sequential data, and spatial data, and apply appropriate model architectures to adapt to the data structure. Our training algorithm is built upon the recent development of score matching \cite{sm}, which connects an EBM with a regularized autoencoder, eliminating the need for complicated sampling method. Statistically sound decision criterion can be derived for anomaly detection purpose from the perspective of the energy landscape of the data distribution. We investigate two decision criteria for performing anomaly detection: the energy score and the reconstruction error. Extensive empirical studies on benchmark tasks demonstrate that our proposed model consistently matches or outperforms all the competing methods.

研究动机与目标

• 将异常检测动机定位为使用深度能量基模型对数据分布建模。
• 将 EBMs 扩展到数据结构：静态、时序和时空。
• 开发一种使用分数匹配的训练过程，以避免复杂的采样。
• 从能量景观导出实际的异常检测标准：能量分数和重构误差。

提出的方法

• 将能量建模为具有结构的深度神经网络的输出，结构包括（全连接、循环、卷积）。
• 使用分数匹配来训练能量函数，使得可通过 SGD 优化而无需 MCMC 采样。
• 推导重构函数 f(x;θ)=x−∇xE(x;θ)，以将 EBM 与去噪自编码器行为联系起来。
• 对于时序数据，在时间上对 p(x) 进行分解，使用逐步能量并允许 RNN 调整能量参数。
• 对于卷积型EBMs，用 CNN 输出替代 hL，并将梯度通过卷积层向前传播。
• 提供两种异常决策标准：能量阈值（E(x;θ) > Eth）和重构误差阈值（||∇xE(x;θ)||² > Errorth）。

实验结果

研究问题

• RQ1 深度能量基模型是否能够在静态、时序和空间数据上捕捉复杂数据分布以用于异常检测？
• RQ2 如何利用分数匹配在不进行大量采样的情况下高效训练深度 EBM？
• RQ3 从能量景观与重构误差导出的有效异常决策标准是什么？
• RQ4 DSEBMs 在静态、时序和图像基准数据集上是否优于已有基线？

主要发现

方法	KDD99 精确度	KDD99 召回率	KDD99 F1	Thyroid 精确度	Thyroid 召回率	Thyroid F1	Usenet 精确度	Usenet 召回率	Usenet F1
DSEBM-r	0.8521	0.6472	0.7328	0.9527	0.7479	0.8386	0.7205	0.7837	0.7314
DSEBM-e	0.8619	0.6446	0.7399	0.9558	0.7642	0.8375	0.7129	0.8081	0.7475

• 采用能量评估的 DSEBMs（DSEBM-e）和基于重构的 DSEBM（DSEBM-r）在静态数据集（KDD99、Thyroid、Usenet）上表现出竞争力甚至优于基线。
• 在高维静态数据上，DSEBM-e 常获得最佳 F1 分数（如 Usenet、KDD99）。
• 对于时序数据，DSEBM-e 通常在 CUAVE、NATOPS、FITNESS 数据集上实现最高的平均精确度和 F1。
• 对于时空数据（Caltech-101、MNIST、CIFAR-10），DSEBM-e 在召回率和 F1 上达到最高，且在 MNIST/CIFAR-10 上有显著提升。
• 基于能量的决策标准在大多数基准测试中往往优于基于重构的标准，凸显能量景观作为稳健的异常指示器的作用。
• 在高维情况下，重构误差标准仍然合理，特别是在离群点不太可能与能量最大值对齐时。