[论文解读] Energy-based Models for Video Anomaly Detection

Hung Vu, Dinh Phung+3 more|arXiv (Cornell University)|Aug 17, 2017

Anomaly Detection Techniques and Applications参考文献 53被引用 16

一句话总结

本文提出了一种基于能量模型的无监督视频异常检测框架，特别采用受限玻尔兹曼机（RBMs）从无标签数据中学习正常性模式，并通过重建误差检测异常。该方法在UCSD Ped1、Ped2和Avenue等基准数据集上实现了最先进性能，优于传统基线方法，并在无需人工特征工程或异常标注的情况下达到最先进结果。

ABSTRACT

Automated detection of abnormalities in data has been studied in research area in recent years because of its diverse applications in practice including video surveillance, industrial damage detection and network intrusion detection. However, building an effective anomaly detection system is a non-trivial task since it requires to tackle challenging issues of the shortage of annotated data, inability of defining anomaly objects explicitly and the expensive cost of feature engineering procedure. Unlike existing appoaches which only partially solve these problems, we develop a unique framework to cope the problems above simultaneously. Instead of hanlding with ambiguous definition of anomaly objects, we propose to work with regular patterns whose unlabeled data is abundant and usually easy to collect in practice. This allows our system to be trained completely in an unsupervised procedure and liberate us from the need for costly data annotation. By learning generative model that capture the normality distribution in data, we can isolate abnormal data points that result in low normality scores (high abnormality scores). Moreover, by leverage on the power of generative networks, i.e. energy-based models, we are also able to learn the feature representation automatically rather than replying on hand-crafted features that have been dominating anomaly detection research over many decades. We demonstrate our proposal on the specific application of video anomaly detection and the experimental results indicate that our method performs better than baselines and are comparable with state-of-the-art methods in many benchmark video anomaly detection datasets.

研究动机与目标

• 通过利用大量无标签正常数据，解决视频异常检测中异常标注数据有限的挑战。
• 通过深度生成模型自动学习表征，消除对昂贵且易出错的人工特征工程的依赖。
• 开发一种统一框架，利用基于能量的模型建模正常性分布，使异常检测为正常性得分较低的数据点。
• 通过联合分析帧级和像素级重建误差，提高异常定位的准确性。
• 为面向异常检测的深度专用生成网络奠定基础，超越通用深度网络的局限。

提出的方法

• 该框架使用受限玻尔兹曼机（RBMs）作为基于能量的模型，从无标签数据中学习正常视频模式的潜在分布。
• 通过测量重建误差检测异常：高误差表示在学习到的正常分布下概率较低，表明异常。
• 该模型以无监督方式运行，仅在正常视频片段上进行训练，无需任何异常标注。
• 特征表示由RBMs端到端学习，绕过传统手工特征提取流程。
• 该方法在三个层次评估性能：帧级、像素级和双层次（帧与像素得分的融合），采用α=5%的融合策略。
• 使用重建得分计算AUC和EER指标，对多个基准数据集进行定量评估。

实验结果

研究问题

• RQ1 仅在正常视频数据上训练的能量模型能否在无任何异常标注的情况下有效检测异常？
• RQ2 与PCA、OC-SVM、GMM和自编码器等传统方法相比，基于RBMs的重建方法在标准视频异常检测基准上的表现如何？
• RQ3 通过RBMs进行无监督表征学习，能在多大程度上提升视频帧中异常区域的定位准确性？
• RQ4 浅层生成模型如RBMs能否实现与使用更深架构或更复杂训练方案的最先进方法相当的性能？
• RQ5 将该框架扩展到深度生成网络（如DBNs或DBMs）以实现分层异常检测的潜力如何？

主要发现

• 在UCSD Ped1数据集上，所提出的基于RBMs的方法在帧级达到70.25%的AUC，在双像素级达到56.08%，优于PCA、OC-SVM、GMM和ConvAE。
• 在UCSD Ped2数据集上，该方法在帧级达到86.43%的AUC，在双像素级达到78.76%，显著优于所有基线方法。
• 在Avenue数据集上，该方法在帧级达到74.88%的AUC，在双像素级达到53.40%，展现出在多样化视频场景下的强大性能。
• 与最先进模型相比，该方法表现具有竞争力，尤其在双像素级定位方面表现优异，表明异常检测的空间精度有所提升。
• 结果表明，仅在正常数据上进行无监督RBMs训练，即可获得与监督方法或复杂深度学习基线相当的检测性能。
• 对重建误差作为异常可能性代理的消融实验证明有效，所有三个数据集上均表现出高AUC和低EER值。