[论文解读] Detection of Unknown Anomalies in Streaming Videos with Generative Energy-based Boltzmann Models

Hung Vu, Tu Dinh Nguyen+1 more|arXiv (Cornell University)|May 3, 2018

Anomaly Detection Techniques and Applications参考文献 45被引用 5

一句话总结

该论文提出了一种无监督异常检测框架——基于能量的异常检测器（EAD），利用受限玻尔兹曼机和深度玻尔兹曼机直接从原始视频像素中学习分层表征，实现端到端的异常检测，无需手工设计特征。该方法通过利用重建误差，在基准数据集上实现了最先进性能，并首次在基于DBM的模型中实现了场景聚类与重建的联合处理。

ABSTRACT

Abnormal event detection is one of the important objectives in research and practical applications of video surveillance. However, there are still three challenging problems for most anomaly detection systems in practical setting: limited labeled data, ambiguous definition of "abnormal" and expensive feature engineering steps. This paper introduces a unified detection framework to handle these challenges using energy-based models, which are powerful tools for unsupervised representation learning. Our proposed models are firstly trained on unlabeled raw pixels of image frames from an input video rather than hand-crafted visual features; and then identify the locations of abnormal objects based on the errors between the input video and its reconstruction produced by the models. To handle video stream, we develop an online version of our framework, wherein the model parameters are updated incrementally with the image frames arriving on the fly. Our experiments show that our detectors, using Restricted Boltzmann Machines (RBMs) and Deep Boltzmann Machines (DBMs) as core modules, achieve superior anomaly detection performance to unsupervised baselines and obtain accuracy comparable with the state-of-the-art approaches when evaluating at the pixel-level. More importantly, we discover that our system trained with DBMs is able to simultaneously perform scene clustering and scene reconstruction. This capacity not only distinguishes our method from other existing detectors but also offers a unique tool to investigate and understand how the model works.

研究动机与目标

• 通过开发无监督学习框架，解决视频异常检测中标签数据有限的挑战。
• 通过建模数据规律性并利用重建误差检测偏差，克服‘异常’事件定义模糊的问题。
• 通过直接从原始像素数据学习表征，消除对昂贵、任务特定的手工设计特征的依赖。
• 通过设计框架的在线增量学习版本，实现实时视频流中的异常检测。
• 通过在深度架构中关联聚类与重建层，提供模型可解释性，支持可视化调试并洞察模型行为。

提出的方法

• 在未标注的原始视频帧上训练受限玻尔兹曼机（RBMs）和深度玻尔兹曼机（DBMs），以学习分层特征表征。
• 使用输入帧与其重建结果之间的重建误差作为异常分数，将高误差区域识别为异常区域。
• 实现一种在线学习变体，随着新视频帧实时到达，增量式更新模型参数。
• 通过重采样视频帧并将其划分为图像块，实现多尺度特征提取，提升表征学习的鲁棒性。
• 利用DBM中聚类层与重建层之间的共享权重矩阵，确保场景聚类与重建保真度的一致性。
• 通过可视化各层的激活模式，解释模型决策并调试误分类现象，例如将远处的骑车者误识别为行人。

实验结果

研究问题

• RQ1 在未使用任何标签数据的情况下，基于能量的模型能否在原始像素上检测流式视频中的未知异常？
• RQ2 与无监督及最先进深度学习方法相比，所提出的框架在异常检测准确率方面表现如何？
• RQ3 DBM中联合聚类与重建能力在多大程度上提升了模型的可解释性与调试能力？
• RQ4 在通过增量参数更新实时处理视频流时，系统能否保持高性能？
• RQ5 隐藏层激活的可视化如何解释模型行为并揭示系统性错误？

主要发现

• 基于DBM的EAD框架在UCSD Ped 1、Ped 2和Avenue数据集上的像素级异常检测性能，与最先进深度学习模型相当。
• 无监督的EAD系统在异常检测准确率上优于其他无监督基线方法，证明了从原始像素端到端学习表征的有效性。
• 基于DBM的EAD模型同时执行场景聚类与重建，通过对齐的隐藏层表征实现了独特的可解释性。
• 激活模式的可视化表明，模型因低级特征相似而将远处的骑车者误分类为行人，为错误提供了合理解释。
• 尽管聚类状态相同（如人行道上有或没有行人），DBM的重建层对不同区域的响应仍存在差异，表明其对局部内容具有敏感性，即使聚类身份相同。
• 基于DBM的EAD框架提供了一种可靠且可解释的模型，其中聚类层响应直接反映系统内部决策过程，而基于RBM的模型因模块解耦而缺乏此类关联。