[论文解读] Hybrid Classifiers for Spatio-temporal Real-time Abnormal Behaviors Detection, Tracking, and Recognition in Massive Hajj Crowds

Tarik Alafif, Anas A. Hadi+5 more|arXiv (Cornell University)|Jul 25, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文提出了一种混合CNN-RF框架，用于在小规模和大规模麦加朝觐人群视频中实现实时异常行为检测、跟踪与识别。该方法采用微调的ResNet-50进行空间异常检测，利用Horn-Schunck光流法实现基于运动的定位，采用卡尔曼滤波进行跟踪，并在统计运动特征上使用随机森林进行时序分类，其在UMN数据集上达到99.77%的AUC，在新提出的HAJJv2数据集上达到76.08%的AUC。

ABSTRACT

Individual abnormal behaviors vary depending on crowd sizes, contexts, and scenes. Challenges such as partial occlusions, blurring, large-number abnormal behavior, and camera viewing occur in large-scale crowds when detecting, tracking, and recognizing individuals with abnormal behaviors. In this paper, our contribution is twofold. First, we introduce an annotated and labeled large-scale crowd abnormal behaviors Hajj dataset (HAJJv2). Second, we propose two methods of hybrid Convolutional Neural Networks (CNNs) and Random Forests (RFs) to detect and recognize Spatio-temporal abnormal behaviors in small and large-scales crowd videos. In small-scale crowd videos, a ResNet-50 pre-trained CNN model is fine-tuned to verify whether every frame is normal or abnormal in the spatial domain. If anomalous behaviors are observed, a motion-based individuals detection method based on the magnitudes and orientations of Horn-Schunck optical flow is used to locate and track individuals with abnormal behaviors. A Kalman filter is employed in large-scale crowd videos to predict and track the detected individuals in the subsequent frames. Then, means, variances, and standard deviations statistical features are computed and fed to the RF to classify individuals with abnormal behaviors in the temporal domain. In large-scale crowds, we fine-tune the ResNet-50 model using YOLOv2 object detection technique to detect individuals with abnormal behaviors in the spatial domain.

研究动机与目标

• 为解决在高密度、遮挡严重且受摄像头限制的麦加朝觐大规模人群场景中，异常行为检测、跟踪与识别的挑战。
• 开发一种鲁棒的实时系统，能够在小规模和大规模人群场景中区分多种类型的异常行为（例如奔跑、逆流而行）。
• 提出一个全新的大规模、已标注且分类明确的数据集——HAJJv2，专门用于麦加人群异常行为检测。
• 结合深度学习（CNN）与传统机器学习（随机森林）实现时空异常识别，提升准确率与泛化能力。
• 在公开基准数据集（UMN、UCSD）和新收集的高难度大规模数据集（HAJJv2）上评估该方法。

提出的方法

• 在小规模视频上微调预训练的ResNet-50 CNN，以在空间域中将每一帧分类为正常或异常。
• 应用Horn-Schunck光流法提取运动幅值和方向特征，生成二值掩码以定位并跟踪具有异常行为的个体。
• 采用卡尔曼滤波器在大规模视频中跨帧预测和跟踪个体，提升对遮挡和运动模糊的鲁棒性。
• 为每个被跟踪的个体计算运动轨迹的时序统计特征——均值、方差和标准差。
• 在这些时序特征上训练随机森林分类器，将个体分类至特定的异常行为类别。
• 在大规模场景中，集成YOLOv2与微调后的ResNet-50，以提升高密度场景下的目标检测准确率。

实验结果

研究问题

• RQ1 混合CNN-RF模型是否能有效实现在小规模人群视频中实时检测并识别多种类型的异常行为？
• RQ2 光流与卡尔曼滤波的结合在存在遮挡的大规模高密度人群场景中，如何提升跟踪的鲁棒性？
• RQ3 该方法在UMN和UCSD等公开基准数据集上，相较于最先进方法的性能提升程度如何？
• RQ4 在新收集的、极具挑战性的大规模人群数据集（HAJJv2）上，该模型的性能表现如何，尤其是在严重遮挡和远距离摄像视角下？
• RQ5 统计运动特征（均值、方差、标准差）在提升异常行为时序分类性能方面起到了何种作用？

主要发现

• 该方法在UMN基准数据集上达到99.77%的平均AUC，优于最先进方法1.67个百分点。
• 在UCSD Ped1数据集上，该方法达到93.71%的平均AUC，超过SOTA方法6.06个百分点。
• 在UCSD Ped2数据集上，该方法达到98.55%的平均AUC，超过SOTA方法2.85个百分点。
• 在大规模人群场景中，该方法在HAJJv2数据集上达到76.08%的平均AUC，尽管面临严重遮挡和远距离视角等极端挑战，仍表现出令人满意的性能。
• 该模型在UCSD Ped1上的表现较低，归因于分辨率低、摄像角度、阴影和光照差等因素，表明其对图像质量较为敏感。
• HAJJv2数据集中的Masaa场景因摄像机视角较近且遮挡程度适中，更易于分类；而Tawaf和Jamarat场景由于人群密度高且视角遥远，仍是最具挑战性的部分。