[论文解读] Ano-Graph: Learning Normal Scene Contextual Graphs to Detect Video Anomalies

Masoud Pourreza, Mohammadreza Salehi+1 more|arXiv (Cornell University)|Mar 18, 2021

Anomaly Detection Techniques and Applications被引用 12

一句话总结

Ano-Graph 提出了一种自监督时空图学习框架，通过使用现成检测器提取的特征，对视频中正常物体交互进行建模，实现了鲁棒且数据高效的异常检测。该方法在 ADOC 和 Street Scene 数据集上实现了最先进性能，通过捕捉语义时空交互，而无需依赖异常训练数据。

ABSTRACT

Video anomaly detection has proved to be a challenging task owing to its unsupervised training procedure and high spatio-temporal complexity existing in real-world scenarios. In the absence of anomalous training samples, state-of-the-art methods try to extract features that fully grasp normal behaviors in both space and time domains using different approaches such as autoencoders, or generative adversarial networks. However, these approaches completely ignore or, by using the ability of deep networks in the hierarchical modeling, poorly model the spatio-temporal interactions that exist between objects. To address this issue, we propose a novel yet efficient method named Ano-Graph for learning and modeling the interaction of normal objects. Towards this end, a Spatio-Temporal Graph (STG) is made by considering each node as an object's feature extracted from a real-time off-the-shelf object detector, and edges are made based on their interactions. After that, a self-supervised learning method is employed on the STG in such a way that encapsulates interactions in a semantic space. Our method is data-efficient, significantly more robust against common real-world variations such as illumination, and passes SOTA by a large margin on the challenging datasets ADOC and Street Scene while stays competitive on Avenue, ShanghaiTech, and UCSD.

研究动机与目标

• 解决在缺乏异常训练样本的无监督设置下的视频异常检测挑战。
• 克服现有方法在建模正常场景中物体之间复杂时空交互方面的局限性。
• 开发一种数据高效且鲁棒的方法，以捕捉空间和时间上正常物体之间的上下文关系。
• 提升在 ADOC 和 Street Scene 等具有复杂现实世界变化的挑战性基准上的性能。
• 实现在时空图上的自监督学习，以建模正常行为，而无需异常标注。

提出的方法

• 构建一个时空图（STG），其中每个节点代表从实时现成目标检测器提取的一个物体特征。
• 基于空间接近度和时间一致性定义节点之间的边，以建模物体交互。
• 在 STG 上应用自监督学习目标，将交互嵌入语义空间，以捕捉正常场景动态。
• 利用深度网络的分层表征能力，建模多层级时空依赖性。
• 使用 STG 上的重建或对比学习目标，以端到端无监督方式训练模型，学习正常模式。
• 通过测量测试视频中预期交互模式的偏离程度，利用学习到的图表示检测异常。

实验结果

研究问题

• RQ1 在无需异常标注的情况下，对时空图进行自监督学习是否能有效建模视频场景中物体之间的正常交互？
• RQ2 与现有方法相比，Ano-Graph 在光照变化和物体运动等常见现实世界变化下的泛化能力如何？
• RQ3 通过建模物体交互，对 ADOC 和 Street Scene 等挑战性基准的异常检测性能提升程度如何？
• RQ4 基于图的方法是否能在保持数据高效和现实部署场景鲁棒性的前提下，实现最先进性能？

主要发现

• Ano-Graph 在 ADOC 和 Street Scene 数据集上实现了最先进性能，显著优于先前方法。
• 该方法对光照变化和物体尺度变化等常见现实世界变化表现出高度鲁棒性。
• 通过自监督 STG 建模时空交互，Ano-Graph 捕捉到比自编码器或 GAN 基线更丰富的上下文表征。
• 该方法在 Avenue、ShanghaiTech 和 UCSD 等标准基准上也保持了具有竞争力的性能。
• 使用现成目标检测器实现了无需微调的高效且可扩展的特征提取。
• 在 STG 上的自监督学习目标有效学习了正常场景动态，从而通过偏离学习模式实现准确的异常检测。