[论文解读] A Novel Approach for Robust Multi Human Action Recognition and Summarization based on 3D Convolutional Neural Networks

Noor Almaadeed, Omar Elharrouss+3 more|arXiv (Cornell University)|Jul 25, 2019

Human Pose and Action Recognition被引用 8

一句话总结

本文提出一种基于3D卷积神经网络（3DCNN）的框架，用于在监控视频和网络视频中实现鲁棒的多人动作识别与视频摘要。该方法从场景中提取个体动作序列，应用3D CNN进行动作检测，并生成以动作为中心的摘要，在UCF101和YouTube数据集上实现了最先进性能，且无需预处理。

ABSTRACT

Human actions in videos are 3D signals. However, there are a few methods available for multiple human action recognition. For long videos, it's difficult to search within a video for a specific action and/or person. For that, this paper proposes a new technic for multiple human action recognition and summarization for surveillance videos. The proposed approach proposes a new representation of the data by extracting the sequence of each person from the scene. This is followed by an analysis of each sequence to detect and recognize the corresponding actions using 3D convolutional neural networks (3DCNNs). Action-based video summarization is performed by saving each person's action at each time of the video. Results of this work revealed that the proposed method provides accurate multi human action recognition that easily used for summarization of any action. Further, for other videos that can be collected from the internet, which are complex and not built for surveillance applications, the proposed model was evaluated on some datasets like UCF101 and YouTube without any preprocessing. For this category of videos, the summarization is performed on the video sequences by summarizing the actions in each subsequence. The results obtained demonstrate its efficiency compared to state-of-the-art methods.

研究动机与目标

• 解决在长时监控视频中识别并总结多人动作的挑战。
• 开发一种方法，实现对长视频内容中特定动作或个体的高效搜索与检索。
• 将动作识别模型的适用性扩展到复杂、非结构化的网络视频，如UCF101和YouTube中的视频。
• 生成紧凑、基于动作的视频摘要，以保留每个人的關鍵事件。

提出的方法

• 该方法通过基于个体的时空跟踪，从视频帧中提取个体人类动作序列。
• 对每个提取的序列应用3D卷积神经网络（3DCNN），以学习其时空特征用于动作识别。
• 通过在每个个体的相关时间戳处选择并保留关键动作片段，实现基于动作的视频摘要。
• 在UCF101和YouTube的原始视频上评估该方法，证明其在无需特定数据预处理的情况下仍具鲁棒性。
• 该框架支持监控视频摘要以及非约束环境下的通用视频理解。

实验结果

研究问题

• RQ1 基于3D CNN的方法是否能在不依赖预分割数据的情况下，实现长时监控视频中多人动作识别的高精度？
• RQ2 所提出的方法在非结构化网络视频中对多人动作的摘要效果如何？
• RQ3 该模型在无需预处理的情况下，对UCF101和YouTube等复杂、非约束数据集中的视频泛化能力如何？
• RQ4 基于动作的摘要技术是否能实现对特定动作或人物的高效视频搜索与检索？

主要发现

• 所提出的方法在UCF101和YouTube数据集上实现了多人动作识别的最先进性能，且无需任何视频预处理。
• 该模型成功识别了长时监控视频中的动作，并为每个人生成了准确的动作中心摘要。
• 该方法在复杂、非约束的视频环境中表现出鲁棒性，包括原本并非为监控应用设计的视频。
• 基于动作的摘要通过仅保留每个人最相关的动作片段，实现了高效的视频导航。