[论文解读] Detection of Anomalous Crowd Behavior Using Spatio-Temporal Multiresolution Model and Kronecker Sum Decompositions

Kristjan Greenewald, Alfred O. Hero|arXiv (Cornell University)|Jan 14, 2014

Anomaly Detection Techniques and Applications参考文献 26被引用 6

一句话总结

本文提出一种结合克罗内克和分解的时空多分辨率模型，通过低样本协方差估计检测视频中的异常人群行为。通过将像素协方差表示为克罗内克积之和，并整合稀疏多分辨率框架，该方法在明尼苏达大学人群异常数据集上实现了最先进水平的异常检测性能，AUC得分高达0.9995。

ABSTRACT

In this work we consider the problem of detecting anomalous spatio-temporal behavior in videos. Our approach is to learn the normative multiframe pixel joint distribution and detect deviations from it using a likelihood based approach. Due to the extreme lack of available training samples relative to the dimension of the distribution, we use a mean and covariance approach and consider methods of learning the spatio-temporal covariance in the low-sample regime. Our approach is to estimate the covariance using parameter reduction and sparse models. The first method considered is the representation of the covariance as a sum of Kronecker products as in (Greenewald et al 2013), which is found to be an accurate approximation in this setting. We propose learning algorithms relevant to our problem. We then consider the sparse multiresolution model of (Choi et al 2010) and apply the Kronecker product methods to it for further parameter reduction, as well as introducing modifications for enhanced efficiency and greater applicability to spatio-temporal covariance matrices. We apply our methods to the detection of crowd behavior anomalies in the University of Minnesota crowd anomaly dataset, and achieve competitive results.

研究动机与目标

• 解决在训练数据有限的情况下检测人群视频中异常时空行为的挑战。
• 使用生成统计方法对多帧视频中像素强度的联合分布进行建模。
• 减少时空协方差估计中的参数数量，使在低样本条件下学习成为可能。
• 在不依赖轨迹提取的情况下，实现从个体到整个人群的多尺度异常检测。
• 通过结构化协方差建模和多分辨率表示，提升检测性能和定位精度。

提出的方法

• 该方法仅使用多帧视频块的均值和协方差对时空像素分布进行建模，假设在短时间间隔内具有平稳性。
• 将时空协方差矩阵表示为较小的空间和时间协方差矩阵的克罗内克积之和，显著减少参数数量。
• 提出一种改进的学习算法用于克罗内克积之和模型，以提高在视频数据上的效率和适用性。
• 该方法整合了一种基于稀疏多分辨率树的模型，实现空间和时间尺度上的分层分析。
• 在多分辨率框架内应用克罗内克分解，进一步减少参数数量并增强模型表达能力。
• 在多元高斯假设下，使用马氏距离（负对数似然）进行异常检测。

实验结果

研究问题

• RQ1 能否在人群视频异常检测中，有效学习到低样本的时空协方差模型？
• RQ2 将协方差表示为克罗内克积之和，是否能在训练数据有限的情况下实现准确且高效的估计？
• RQ3 结合克罗内克分解的多分辨率模型能否提升检测性能和可扩展性？
• RQ4 在多帧之间引入时间信息如何影响异常检测的准确性？
• RQ5 该方法能否在人群中实现对异常个体或群体行为的精确定位？

主要发现

• 在明尼苏达大学人群异常数据集的完整数据集上，该方法使用8帧协方差和三重克罗内克和模型，取得了0.9995的AUC。
• 基于克罗内克的模型优于具有托普利茨结构的正则化样本协方差（AUC为0.9989）。
• 多帧协方差（8帧）显著优于单帧协方差，在某些设置下AUC提升高达0.011。
• 该方法成功定位了异常个体，例如开始奔跑的个体，同时正确排除了行走的个体。
• 在多分辨率建模中使用非矩形树网格，使在具有稳定光流的视频（如马拉松）中自然出现低秩结构。
• 将马拉松视频片段倒放后被正确识别为异常，证明了模型对时间结构的敏感性。