[论文解读] An Overview of Violence Detection Techniques: Current Challenges and Future Directions

Nadia Mumtaz, Naveed Ejaz+5 more|arXiv (Cornell University)|Sep 21, 2022

Anomaly Detection Techniques and Applications被引用 6

一句话总结

本文全面综述了视频监控中的暴力检测（VD）技术，涵盖基于手工特征的传统方法与现代深度学习方法，包括2D/3D卷积神经网络（CNN）、视觉变压器（transformers）及混合模型。文章指出了数据稀缺、计算成本高以及现实环境鲁棒性差等挑战，同时提出未来方向，如适用于边缘设备的模型、强化学习以及可解释人工智能，以构建实用且实时的VD系统。

ABSTRACT

The Big Video Data generated in today's smart cities has raised concerns from its purposeful usage perspective, where surveillance cameras, among many others are the most prominent resources to contribute to the huge volumes of data, making its automated analysis a difficult task in terms of computation and preciseness. Violence Detection (VD), broadly plunging under Action and Activity recognition domain, is used to analyze Big Video data for anomalous actions incurred due to humans. The VD literature is traditionally based on manually engineered features, though advancements to deep learning based standalone models are developed for real-time VD analysis. This paper focuses on overview of deep sequence learning approaches along with localization strategies of the detected violence. This overview also dives into the initial image processing and machine learning-based VD literature and their possible advantages such as efficiency against the current complex models. Furthermore,the datasets are discussed, to provide an analysis of the current models, explaining their pros and cons with future directions in VD domain derived from an in-depth analysis of the previous methods.

研究动机与目标

• 系统性回顾从传统图像处理到现代基于深度学习的暴力检测（VD）技术。
• 分析当前VD模型的局限性，包括高计算成本、数据稀缺性以及在非平稳现实环境中的泛化能力差。
• 识别关键挑战，如暴力行为的有效定位、对环境干扰的鲁棒性，以及在边缘设备上的实时性能。
• 探索尚未充分利用的未来方向，如强化学习、视觉变压器（vision transformers）和可解释人工智能，以提升VD系统的可靠性与可解释性。

提出的方法

• 对三代VD技术进行调研与分类：基于手工特征的方法（如HOG、运动矢量）、基于深度学习的方法（2D/3D CNN）以及序列建模方法（如RNN、Transformer）。
• 使用UCF-Crime、HMDB51和UCSD行人等基准数据集评估性能，重点关注准确率、推理速度与定位能力。
• 分析端到端视频分类的模型架构，包括通过3D卷积实现的时间建模，以及TimeSformer中的注意力机制。
• 通过评估模型复杂度、推理延迟及量化潜力，评估在嵌入式系统中部署的可行性。
• 提出结合手工特征与深度学习的混合模型，以在低数据环境下提升效率与鲁棒性。
• 探索新兴技术，如用于视频理解的视觉变压器，以及用于动态场景中自适应异常检测的强化学习。

Figure 3 : The overall structure of the proposed survey.

实验结果

研究问题

• RQ1 在智慧城市监控中，部署实时暴力检测系统面临哪些关键技术与计算挑战？
• RQ2 与基于深度学习的模型相比，基于手工特征的传统方法在准确率、鲁棒性及部署可行性方面有何差异？
• RQ3 当前VD模型在应对突发场景变化或遮挡等非平稳环境时存在哪些局限性？
• RQ4 边缘计算与轻量化模型如何提升VD系统在真实监控部署中的实用性？
• RQ5 新兴技术（如视觉变压器、强化学习和可解释人工智能）如何提升未来VD系统的性能与可靠性？

主要发现

• 依赖HOG和运动矢量等手工特征的传统VD方法计算效率高，但对复杂运动模式和环境变化的鲁棒性不足。
• 基于2D和3D CNN的模型在标准数据集上表现优异，但在真实动态环境中计算成本高且泛化能力差。
• 视觉变压器（如TimeSformer）在视频动作识别任务中表现强劲，表明其在VD中具有提升时间建模能力的潜力。
• 当前模型往往难以有效定位暴力行为，凸显了联合检测与定位框架的必要性。
• 由于主流深度学习模型的推理成本过高，边缘部署仍是主要挑战，亟需轻量化与量化架构。
• 未来方向如强化学习与可解释人工智能尚未被充分探索，但有望显著提升真实世界VD系统中的适应性与可解释性。

Figure 5 : The overall process of research articles retrieval from different databases.