[论文解读] Generalized Video Anomaly Event Detection: Systematic Taxonomy and Comparison of Deep Models

Yang Liu, Dingkang Yang+6 more|arXiv (Cornell University)|Feb 10, 2023

Anomaly Detection Techniques and Applications被引用 7

一句话总结

本文提出了一套统一的广义视频异常事件检测（GVAED）框架，系统性地对基于深度学习的无监督、弱监督、有监督及完全无监督范式下的方法进行分类。该研究提出了一个分层分类法，对模型性能进行基准测试，整理了关键资源，并指出了视频异常检测领域的未来研究方向。

ABSTRACT

Video Anomaly Detection (VAD) serves as a pivotal technology in the intelligent surveillance systems, enabling the temporal or spatial identification of anomalous events within videos. While existing reviews predominantly concentrate on conventional unsupervised methods, they often overlook the emergence of weakly-supervised and fully-unsupervised approaches. To address this gap, this survey extends the conventional scope of VAD beyond unsupervised methods, encompassing a broader spectrum termed Generalized Video Anomaly Event Detection (GVAED). By skillfully incorporating recent advancements rooted in diverse assumptions and learning frameworks, this survey introduces an intuitive taxonomy that seamlessly navigates through unsupervised, weakly-supervised, supervised and fully-unsupervised VAD methodologies, elucidating the distinctions and interconnections within these research trajectories. In addition, this survey facilitates prospective researchers by assembling a compilation of research resources, including public datasets, available codebases, programming tools, and pertinent literature. Furthermore, this survey quantitatively assesses model performance, delves into research challenges and directions, and outlines potential avenues for future exploration.

研究动机与目标

• 为解决现有综述中忽略视频异常检测（VAD）领域内弱监督与完全无监督方法的问题。
• 提出一种系统性、分层的广义视频异常事件检测（GVAED）分类法，整合多种学习范式。
• 整理并组织公开数据集、代码库、工具与文献，以供未来研究人员参考。
• 对UVAD、WAED、SVAD与FVAD范式下的模型性能进行定量比较。
• 识别开放性挑战，并提出GVAED在实际部署中的未来研究方向。

提出的方法

• 基于监督程度、输入数据模态与网络架构，提出一种分层的GVAED模型分类法。
• 将现有深度学习方法划分为四大主要范式：无监督（UVAD）、弱监督（WAED）、有监督（SVAD）与完全无监督（FVAD）。
• 在分类法中整合近期进展，如自监督表示学习（例如对比学习、深度聚类）与知识蒸馏技术。
• 通过定量评估与消融研究，比较不同数据集与设置下的模型性能。
• 在WAED中利用多实例学习（MIL）通过对比正常与异常事件的时空特征进行异常评分。
• 探索模型压缩、在线演化学习与边缘-云协同技术，以构建轻量化、可部署的GVAED系统。

实验结果

研究问题

• RQ1 如何在传统无监督范式之外，系统性地对现有视频异常检测方法进行分类？
• RQ2 无监督、弱监督、有监督与完全无监督VAD方法之间的关键差异与内在联系是什么？
• RQ3 近期的自监督与多模态学习技术如何提升GVAED中的表示学习能力？
• RQ4 在真实世界部署约束下，UVAD、WAED、SVAD与FVAD在性能权衡与局限性方面有何表现？
• RQ5 在智能监控系统中，推动GVAED发展的最关键未来研究方向与技术挑战是什么？

主要发现

• 本综述首次建立了全面、统一的广义视频异常事件检测（GVAED）分类法，整合了四种学习范式：UVAD、WAED、SVAD与FVAD。
• 自2018年以来，WAED已成为主导范式，因其在犯罪检测与交通监控等实际应用中表现出优越性能。
• UVAD模型在复杂数据集上存在性能饱和问题，且在泛化至未见正常事件或异常模式方面存在困难。
• 自监督表示学习技术（如对比学习与深度聚类）为提升UVAD鲁棒性提供了有前景的新方向。
• FVAD通过直接从原始视频中学习而无需标注，正因数据整理成本降低与可扩展部署潜力而日益受到关注。
• 模型压缩、知识蒸馏与边缘-云协同技术是实现在资源受限设备上轻量化、实时GVAED模型部署的关键使能技术。