[论文解读] Deep Video Anomaly Detection: Opportunities and Challenges

Jing Ren, Feng Xia+2 more|arXiv (Cornell University)|Oct 11, 2021

Anomaly Detection Techniques and Applications被引用 16

一句话总结

本文对基于深度学习的视频异常检测进行了全面综述，分析了其在数据稀缺、模型泛化能力和隐私保护等关键技术维度上的机遇与挑战。文章调研了预测模型、生成模型、一类分类（one-class classification）以及混合模型，阐明了其工作机制、局限性及在实际部署中的适用性。

ABSTRACT

Anomaly detection is a popular and vital task in various research contexts, which has been studied for several decades. To ensure the safety of people's lives and assets, video surveillance has been widely deployed in various public spaces, such as crossroads, elevators, hospitals, banks, and even in private homes. Deep learning has shown its capacity in a number of domains, ranging from acoustics, images, to natural language processing. However, it is non-trivial to devise intelligent video anomaly detection systems cause anomalies significantly differ from each other in different application scenarios. There are numerous advantages if such intelligent systems could be realised in our daily lives, such as saving human resources in a large degree, reducing financial burden on the government, and identifying the anomalous behaviours timely and accurately. Recently, many studies on extending deep learning models for solving anomaly detection problems have emerged, resulting in beneficial advances in deep video anomaly detection techniques. In this paper, we present a comprehensive review of deep learning-based methods to detect the video anomalies from a new perspective. Specifically, we summarise the opportunities and challenges of deep learning models on video anomaly detection tasks, respectively. We put forth several potential future research directions of intelligent video anomaly detection system in various application domains. Moreover, we summarise the characteristics and technical problems in current deep learning methods for video anomaly detection.

研究动机与目标

• 系统性地回顾基于深度学习的视频异常检测方法在多样化应用场景中的表现。
• 识别并分析核心技术挑战，如数据稀疏性、异常模糊性以及隐私约束。
• 评估主要深度学习架构——预测模型、生成模型、一类分类模型和混合模型——在异常检测中的优势与局限性。
• 对当前方法进行结构化分析，强调其在实际监控环境中的适用性、可扩展性与泛化能力。
• 提出未来研究方向，以推动智能视频异常检测系统在实际部署场景中的发展。

提出的方法

• 将基于深度学习的视频异常检测方法划分为四类主要类型：预测模型、生成模型（如 GAN）、一类分类（OCC）模型以及混合模型。
• 分析基于序列中前 $ p $ 帧预测未来帧的预测模型，其损失函数定义为 $ \mathcal{L} = \sum_{t=1}^{m} \|x_t - x_t'\|_2^2 $，其中 $ x_t' $ 为预测帧。
• 研究生成对抗网络（GAN），其中生成器学习生成逼真帧，判别器则用于区分真实数据与生成数据，损失函数为 $ \mathcal{L} = \frac{1}{m}\sum_{i=1}^{m}[\log D(x_i) + \log(1 - D(G(z_i)))] $。
• 回顾一类分类模型，其通过学习包含正常数据表征的超球体来实现分类，将位于球体外的点判定为异常。
• 探索结合深度特征提取器与传统分类器（如 SVM）的混合模型，利用学习到的特征提升可扩展性与效率。
• 从计算复杂度、训练稳定性以及对实际数据约束（如类别不平衡与隐私限制）的适应性等方面，评估各类模型的权衡。

实验结果

研究问题

• RQ1 哪些主要技术挑战阻碍了深度视频异常检测系统在真实监控环境中的部署？
• RQ2 在不同数据与上下文条件下，预测模型、生成模型、一类分类模型与混合模型在异常检测中的表现如何？
• RQ3 当前模型在处理数据稀疏性、异常多样性以及视频监控中的上下文模糊性方面存在哪些局限性？
• RQ4 隐私顾虑与缺乏开源数据集如何影响视频异常检测模型的开发与基准测试？
• RQ5 在深度视频异常检测中，模型精度、计算效率与泛化能力之间的关键设计权衡是什么？

主要发现

• 预测模型通过从前序帧序列重建未来帧实现优异性能，但其计算复杂度较高，限制了其在离线应用中的使用。
• 生成对抗网络（GAN）因能够生成逼真帧并实现端到端异常检测而被广泛应用，但面临训练不稳定、模式崩溃及高昂训练成本等问题。
• 一类分类模型通过超球体约束有效学习正常数据分布，但需要较长训练时间，且对特征表示质量敏感。
• 结合深度特征与传统分类器（如 SVM）的混合模型在可扩展性与计算效率方面表现更优，但其性能受限于通用损失函数与特定任务的设计约束。
• 尽管技术不断进步，深度视频异常检测仍面临数据不平衡、缺乏标注异常样本、上下文模糊性以及隐私敏感数据等挑战，这些因素共同限制了模型的泛化能力与实际应用。
• 由于隐私顾虑，缺乏标准化基准与公开数据集，严重阻碍了该领域的可复现性与进展，尤其在真实部署场景中更为显著。