[论文解读] Anomaly Locality in Video Surveillance

Federico Landi, Cees G. M. Snoek+1 more|arXiv (Cornell University)|Jan 29, 2019

Anomaly Detection Techniques and Applications参考文献 16被引用 36

一句话总结

本文通过使用时空动作管（而非整帧视频）来研究异常检测中的局部性，提出带边界框注释的 UCFCrime2Local，并显示局部性可提升检测性能并实现弱监督的候选提案。

ABSTRACT

This paper strives for the detection of real-world anomalies such as burglaries and assaults in surveillance videos. Although anomalies are generally local, as they happen in a limited portion of the frame, none of the previous works on the subject has ever studied the contribution of locality. In this work, we explore the impact of considering spatiotemporal tubes instead of whole-frame video segments. For this purpose, we enrich existing surveillance videos with spatial and temporal annotations: it is the first dataset for anomaly detection with bounding box supervision in both its train and test set. Our experiments show that a network trained with spatiotemporal tubes performs better than its analogous model trained with whole-frame videos. In addition, we discover that the locality is robust to different kinds of errors in the tube extraction phase at test time. Finally, we demonstrate that our network can provide spatiotemporal proposals for unseen surveillance videos leveraging only video-level labels. By doing, we enlarge our spatiotemporal anomaly dataset without the need for further human labeling.

研究动机与目标

• 推动在监控视频中利用时空管来挖掘异常的局部性。
• 提出一个可训练的模型，由一个管提取模块、一个三维卷积神经网络（3D CNN）视频编码器，以及一个用于异常评分的回归头组成。
• 创建并发布 UCFCrime2Local，这是一个用于训练和测试的带边界框注释的异常数据集。
• 展示对定位误差的鲁棒性，并展示时空弱监督提案的潜力。

提出的方法

• Tube extraction module 将帧裁剪并调整大小以形成时空管。
• 使用 I3D（扩维的 3D 卷积网络）结合双流（RGB 和光流）特征进行编码。
• 应用 1x1 卷积降维特征，随后经过全连接层（1024、256、64、1），配合 ReLU 与 50% dropout，回归出在 [0,1] 的异常分数 A(X)。
• 使用均方误差在 16 帧片段上通过 SGD（学习率 lr=0.001，Nesterov 动量 0.9）进行训练，每个小批次包含 5 个片段，训练 10 个 epoch。
• 对 UCFCrime 进行注释以创建 UCFCrime2Local，在训练与测试中提供边界框，从而实现基于管的评估，相比全帧基线。
• 在实验中评估对定位误差的鲁棒性，并测试对未见视频的弱监督管提案。

实验结果

研究问题

• RQ1 将重点放在时空管上是否能相较于整帧视频片段改善异常检测？
• RQ2 基于管的异常检测对管提取中的定位误差有多鲁棒？
• RQ3 基于管的提案是否能为未见视频实现弱监督学习？
• RQ4 在真实世界监控数据中，局部性对异常检测性能的影响如何？

主要发现

• 基于管的（ oracle tube ）异常检测在显著程度上超过整帧视频片段的基线（在他们的设置中 AUC 提升 18.61 点）。
• 该方法对定位误差保持鲁棒，箱体大小大致在真实框的 75% 到 400% 范围内性能稳定。
• 使用多个管并聚合其分数可以获得强烈的弱监督性能，在利用未见数据的提案时有时甚至超越严格监督方法。
• UCFCrime2Local 数据集在训练和测试中都提供边界框监督，使时空异常分析成为可能，并拓展了更广泛的弱监督机会。