[论文解读] Holistic Features For Real-Time Crowd Behaviour Anomaly Detection

Mark Marsden, Kevin McGuinness+2 more|arXiv (Cornell University)|Jun 16, 2016

Anomaly Detection Techniques and Applications参考文献 5被引用 7

一句话总结

本文提出了一种实时、低维的整体特征集——结合人群聚集性、冲突度、平均运动速度以及一种新型人群密度公式——用于检测异常人群行为。采用高斯混合模型（GMM）或支持向量机（SVM），在普通硬件上以40 FPS的处理速度，在violent-flows数据集上实现了最先进的准确率（85.53%的平均准确率）。

ABSTRACT

This paper presents a new approach to crowd behaviour anomaly detection that uses a set of efficiently computed, easily interpretable, scene-level holistic features. This low-dimensional descriptor combines two features from the literature: crowd collectiveness [1] and crowd conflict [2], with two newly developed crowd features: mean motion speed and a new formulation of crowd density. Two different anomaly detection approaches are investigated using these features. When only normal training data is available we use a Gaussian Mixture Model (GMM) for outlier detection. When both normal and abnormal training data is available we use a Support Vector Machine (SVM) for binary classification. We evaluate on two crowd behaviour anomaly detection datasets, achieving both state-of-the-art classification performance on the violent-flows dataset [3] as well as better than real-time processing performance (40 frames per second).

研究动机与目标

• 解决大规模监控系统中实时、可扩展的人群行为异常检测挑战。
• 通过开发一种仅依赖正常数据即可有效工作的检测方法，克服异常训练数据稀缺的问题。
• 设计一种低维、可解释的特征集，以捕捉场景级人群动态，实现高效计算。
• 在保持实时性能（40 FPS）的同时，实现高检测准确率。
• 通过跨场景训练与推理，证明方法在不同监控场景下的鲁棒性。

提出的方法

• 使用背景减除（高斯混合模型）、形态学滤波以及KLT跟踪（30帧重初始化）提取轨迹段。
• 每帧计算四个整体特征：人群聚集性、人群冲突度、平均运动速度，以及一种新型自适应人群密度公式。
• 应用指数移动平均滤波以稳定随时间变化的特征估计。
• 当仅拥有正常训练数据时，使用具有全协方差矩阵的GMM进行异常检测。
• 当同时拥有正常与异常训练数据时，使用SVM进行二分类。
• 基于帧级预测的多数投票结果对整个视频片段进行分类，并通过Otsu方法基于GMM的阈值化实现片段级分类。

实验结果

研究问题

• RQ1 低维、场景级的整体特征集是否能实现实时异常人群行为检测？
• RQ2 所提出的特征（尤其是平均运动速度与新型人群密度）相较于现有方法，在检测性能上贡献如何？
• RQ3 当仅拥有正常训练数据时，基于GMM的异常检测方法能实现多大程度的性能表现？
• RQ4 在真实监控场景中，跨场景泛化性能与单场景训练相比如何？
• RQ5 所提出的方法是否能在标准数据集上实现SOTA准确率，同时保持高速处理（≥40 FPS）？

主要发现

• 使用SVM分类器并结合正常与异常训练数据时，该方法在violent-flows数据集上实现了85.53% ± 0.17%的SOTA平均准确率。
• 即使仅使用正常训练数据，基于GMM的方法仍实现了65.8% ± 0.15%的准确率，表明在数据稀缺条件下具有强大性能。
• 该方法以40帧每秒的速度处理视频，显著优于先前方法（如MDT的0.9 FPS和CM的5 FPS），在计算效率上表现更优。
• 若排除任一特征，准确率均出现可测量的下降，其中排除人群冲突度（准确率降至65.5%）和人群密度（准确率降至63.5%）时性能下降最为显著。
• 使用GMM进行跨场景检测时，在UMN数据集上达到86.9%的AUC，表明尽管存在领域差异，仍具备强大的泛化能力。
• 四维整体特征向量（人群聚集性、冲突度、平均运动速度与自适应密度）在实时异常检测中表现极为有效且可解释。