[论文解读] Motion-Aware Feature for Improved Video Anomaly Detection

Yi Zhu, Shawn Newsam|arXiv (Cornell University)|Jul 24, 2019

Anomaly Detection Techniques and Applications参考文献 28被引用 115

一句话总结

本文提出通过时序增强网络学习的运动感知特征以及基于注意力的时序 MIL 排序模型，在结合现有特征时实现对异常检测的有竞争力，以及在 UCF Crime 数据集上达到最先进的性能。

ABSTRACT

Motivated by our observation that motion information is the key to good anomaly detection performance in video, we propose a temporal augmented network to learn a motion-aware feature. This feature alone can achieve competitive performance with previous state-of-the-art methods, and when combined with them, can achieve significant performance improvements. Furthermore, we incorporate temporal context into the Multiple Instance Learning (MIL) ranking model by using an attention block. The learned attention weights can help to differentiate between anomalous and normal video segments better. With the proposed motion-aware feature and the temporal MIL ranking model, we outperform previous approaches by a large margin on both anomaly detection and anomalous action recognition tasks in the UCF Crime dataset.

研究动机与目标

• 将运动信息作为视频异常检测的关键线索的动机。
• 开发一种从光流中以无监督方式学习的运动感知特征。
• 使用注意力将时序上下文融入基于 MIL 的异常排名。
• 展示运动感知特征能与现有特征互补，从而提升性能。
• 在 UCF Crime 数据集上展示在异常检测和异常行为识别方面的最新性能/结果。

提出的方法

• 提出一个时序增强网络（自编码器），以 15 张光流图堆叠为输入，通过瓶颈表示和全局平均池化学习一个 1024 维的运动感知特征。
• 使用对光流输入的每像素 L1 重构损失进行无监督训练。
• 通过拼接的方式将学习得到的运动感知特征作为插件加入到现有的视频特征管线中。
• 引入基于注意力的时序 MIL 排序模型以捕捉视频片段间的时序上下文，学习注意力权重以对片段贡献进行加权。
• 采用基于hinge的时序 MIL 排序损失并附带稀疏约束，以促进少量高分异常片段。
• 在 UCF Crime 数据集上评估该框架，并与先前方法和消融实验进行比较，以证明互补性和有效性。

实验结果

研究问题

• RQ1 专注于运动且以无监督方式学习的特征是否能在与基于图像或纯时空特征相比的异常检测中带来改进？
• RQ2 通过在 MIL 中使用注意力机制将时序上下文纳入是否能提升片段层面的异常与正常事件区分？
• RQ3 运动感知特征与现有特征（如 C3D、I3D）在异常检测性能上的交互如何？
• RQ4 使用基于光流的运动表示相对于其他运动线索在异常检测和异常行为识别中的好处是什么？
• RQ5 所提出的框架是否能够同时改进现实世界监控数据中的异常检测和异常行为识别？

主要发现

• 单独的运动感知特征在 UCF Crime 上实现了具有竞争力的 AUC，并在与其他特征结合时具有互补性。
• 基于注意力的时序 MIL 相比无注意力的 MIL 变体在 AUC 上提升约 1–2 个百分点。
• 将运动感知特征与 Sultani 等人（2018）的基线结合，在他们的设置中得到新的最佳 AUC 79.0%。
• 在实验中，与 VGG16、Inception、I3D 和 C3D 搭配时，运动感知特征始终提升准确率。
• 该方法在高运动量类别（如逮捕、攻击、打斗）上带来显著提升。
• 可视化结果显示使用运动感知特征时，在低假阳性率下具有更高的真正率。