[论文解读] Improving Video Violence Recognition with Human Interaction Learning on 3D Skeleton Point Clouds

Yukun Su, Guosheng Lin+1 more|arXiv (Cornell University)|Aug 26, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

本文提出了一种新颖的视频暴力识别方法，利用3D骨骼点云与双分支骨骼点交互学习（SPIL）框架。通过多头局部注意力机制和排列不变的自注意力层，建模骨骼点之间的局部与全局交互，该方法在多个暴力识别基准上实现了最先进性能，展现出在复杂多人场景下的优越特征学习能力与鲁棒性。

ABSTRACT

Deep learning has proved to be very effective in video action recognition. Video violence recognition attempts to learn the human multi-dynamic behaviours in more complex scenarios. In this work, we develop a method for video violence recognition from a new perspective of skeleton points. Unlike the previous works, we first formulate 3D skeleton point clouds from human skeleton sequences extracted from videos and then perform interaction learning on these 3D skeleton point clouds. Specifically, we propose two types of Skeleton Points Interaction Learning (SPIL) strategies: (i) Local-SPIL: by constructing a specific weight distribution strategy between local regional points, Local-SPIL aims to selectively focus on the most relevant parts of them based on their features and spatial-temporal position information. In order to capture diverse types of relation information, a multi-head mechanism is designed to aggregate different features from independent heads to jointly handle different types of relationships between points. (ii) Global-SPIL: to better learn and refine the features of the unordered and unstructured skeleton points, Global-SPIL employs the self-attention layer that operates directly on the sampled points, which can help to make the output more permutation-invariant and well-suited for our task. Extensive experimental results validate the effectiveness of our approach and show that our model outperforms the existing networks and achieves new state-of-the-art performance on video violence datasets.

研究动机与目标

• 为解决在传统方法因遮挡和无关背景噪声而失效的复杂多人视频场景中识别暴力行为的挑战。
• 通过直接从3D骨骼序列建模动态人体交互，改善特征表示，而非依赖RGB或光流特征。
• 开发一种鲁棒且排列不变的方法，以捕捉骨骼点之间的局部运动动态与全局结构关系。
• 克服现有动作识别模型在人群密集或动态环境中未针对暴力行为检测进行优化的局限性。
• 通过增强的骨骼特征学习，实现对相似但非暴力的身体互动与真实暴力行为的准确区分。

提出的方法

• 将每帧视频的2D人体姿态序列转换为3D骨骼点云，以保留时空结构。
• 引入Local-SPIL，一种多头注意力机制，基于特征与时空接近度，学习局部区域骨骼点之间的加权关系。
• Global-SPIL采用直接作用于无序3D点云的自注意力层，以捕捉长程依赖关系并确保排列不变性。
• 两个模块堆叠：先由Local-SPIL优化局部点间交互，再由Global-SPIL优化所有点之间的全局上下文。
• 多头机制并行聚合多种类型的关联特征，增强模型捕捉复杂运动模式的能力。
• 该框架端到端可训练，无需额外数据或暴力相关先验知识。

实验结果

研究问题

• RQ1 3D骨骼点云是否能比RGB或光流特征更有效地表征暴力行为？
• RQ2 如何建模骨骼点之间的局部与全局交互，以提升在复杂多人场景中的识别性能？
• RQ3 在无序点云上应用自注意力机制是否能提供适用于基于骨骼的暴力识别的排列不变特征学习？
• RQ4 所提出的SPIL框架是否在多样化的暴力识别基准上优于现有最先进方法？
• RQ5 该模型是否仅通过骨骼运动线索即可区分非暴力身体互动与真实暴力行为？

主要发现

• 所提出的LG-SPIL模型在四个公开视频暴力数据集上实现了新的最先进性能，优于现有方法。
• 通过聚焦于骨骼运动模式而非表面外观，该模型显著降低了对非暴力身体互动的误分类。
• Local-SPIL模块成功捕捉了邻近骨骼点之间的语义与时空关系，改善了局部特征表示。
• Global-SPIL模块通过建模所有骨骼点之间的长程依赖关系，增强了特征学习，促进了对鲁棒全局上下文的理解。
• 该方法仅需27.18M参数与35.26 GFLOPs，推理速度达每样本0.32秒（在4张2080Ti GPU上），保持高效率。
• 可视化结果证实，该模型学习到了骨骼点之间的有意义对应关系，注意力在暴力行为期间集中于运动相关的关节。