[论文解读] AAD: Adaptive Anomaly Detection through traffic surveillance videos

Mohammmad Farhadi Bajestani, Seyed Soroush Heidari Rahmat Abadi+2 more|arXiv (Cornell University)|Aug 29, 2018

Anomaly Detection Techniques and Applications参考文献 5被引用 3

一句话总结

本文提出 AAD（自适应异常检测），一种结合 Faster R-CNN 进行目标检测与光流法进行运动分析的实时视频异常检测系统，用于识别空间与时间上的异常。通过使用高斯统计建模运动分布并动态调整阈值，AAD 实现了更快的推理速度（约 2 倍加速），且准确率与先前方法相当，同时在非平稳场景和罕见异常事件中表现出更优的处理能力。

ABSTRACT

Anomaly detection through video analysis is of great importance to detect any anomalous vehicle/human behavior at a traffic intersection. While most existing works use neural networks and conventional machine learning methods based on provided dataset, we will use object recognition (Faster R-CNN) to identify objects labels and their corresponding location in the video scene as the first step to implement anomaly detection. Then, the optical flow will be utilized to identify adaptive traffic flows in each region of the frame. Basically, we propose an alternative method for unusual activity detection using an adaptive anomaly detection framework. Compared to the baseline method described in the reference paper, our method is more efficient and yields the comparable accuracy.

研究动机与目标

• 解决在正常行为随时间演变的交通监控视频中检测罕见且非平稳异常的挑战。
• 通过开发一种可自动学习动态视频序列的自适应异常检测系统，减少对人工监督的依赖。
• 通过整合目标识别与基于运动的异常建模，提升现有方法的效率与准确率。
• 通过使用分块运动方差与基于统计分布的自适应阈值，处理视频流中的数据稀疏性与噪声。
• 通过混合监督-无监督框架实现无损视频表示与时空异常检测。

提出的方法

• 使用以 ImageNet 预训练的 ResNet-101 为骨干网络的 Faster R-CNN，在每帧视频中检测并分类目标，置信度阈值设为 0.8。
• 应用 Farneback 光流算法，设置 3 层金字塔、15×15 窗口、5 次迭代，以及标准差为 1.2 的高斯核，以估计连续帧之间的运动向量。
• 将帧划分为空间块，计算每一块的运动方差，以表示局部运动活跃度，形成运动分布图。
• 使用高斯分布对正常运动行为进行建模，基于均值 $\mu$ 为中心、窗口大小为 $k\sigma$ 的自适应窗口对异常进行分类。
• 采用滑动窗口方法，将 $k\sigma$ 范围内的数据视为正常；超出范围的值则标记为异常。
• 整合目标识别结果以优化异常检测，通过引入目标类型与位置上下文信息，提升真正例率。

实验结果

研究问题

• RQ1 如何使视频异常检测系统适应交通场景的非平稳特性，即随时间推移原本异常的事件变为正常？
• RQ2 结合目标检测与基于运动的分析是否能提升异常检测准确率，同时降低计算成本？
• RQ3 在异常检测中，能平衡真正例率与假正例率的最优自适应阈值窗口大小 $k$ 是多少？
• RQ4 在真实交通视频中，集成 Faster R-CNN 目标识别对基于运动的异常检测性能有何影响？
• RQ5 与基线运动影响图（MIM）方法相比，所提方法在处理监控视频流中的数据稀疏性与噪声方面表现如何？

主要发现

• 在 UCSD Ped1 数据集上，AAD 模型在结合目标识别与运动分析时，真正例率为 0.56，假正例率为 0.36，优于无识别的基线方法。
• 在自适应阈值中设置 $k=1$ 导致假正例率与真正例率均为 1.0，表明对噪声过拟合；而 $k=6$ 时两项指标均降至接近零，显示灵敏度不足。
• 尽管准确率与基线方法相当，但系统推理速度约为基线方法的 2 倍，得益于模型复杂度的简化。
• 运动分布图能有效捕捉异常运动模式，例如在通常为空的区域出现车辆，如图 9b 的异常图所示。
• 目标识别提升了检测可靠性：人类概率图中红色区域（图 9a）与检测到的异常位置一致，证实了上下文一致性。
• UCSD Ped1 与 Ped2 数据集间性能差异归因于相机角度与物体速度的差异，凸显了对场景动态变化的敏感性。