[论文解读] Skeleton Focused Human Activity Recognition in RGB Video

Bruce X. B. Yu, Yan Liu+1 more|arXiv (Cornell University)|Apr 29, 2020

Human Pose and Action Recognition参考文献 45被引用 7

一句话总结

本文提出了一种多模态融合模型，利用骨架和RGB视频数据进行人体动作识别，采用图卷积网络学习骨架表征，并通过基于骨架的注意力机制引导RGB特征学习。该方法通过端到端训练增强跨模态特征交互与判别性，在NTU-RGB+D和Northwestern-UCLA Multiview数据集上实现了最先进性能。

ABSTRACT

The data-driven approach that learns an optimal representation of vision features like skeleton frames or RGB videos is currently a dominant paradigm for activity recognition. While great improvements have been achieved from existing single modal approaches with increasingly larger datasets, the fusion of various data modalities at the feature level has seldom been attempted. In this paper, we propose a multimodal feature fusion model that utilizes both skeleton and RGB modalities to infer human activity. The objective is to improve the activity recognition accuracy by effectively utilizing the mutual complemental information among different data modalities. For the skeleton modality, we propose to use a graph convolutional subnetwork to learn the skeleton representation. Whereas for the RGB modality, we will use the spatial-temporal region of interest from RGB videos and take the attention features from the skeleton modality to guide the learning process. The model could be either individually or uniformly trained by the back-propagation algorithm in an end-to-end manner. The experimental results for the NTU-RGB+D and Northwestern-UCLA Multiview datasets achieved state-of-the-art performance, which indicates that the proposed skeleton-driven attention mechanism for the RGB modality increases the mutual communication between different data modalities and brings more discriminative features for inferring human activities.

研究动机与目标

• 通过有效融合骨架和RGB视频模态，提升人体动作识别的准确性。
• 利用骨架与RGB数据之间的互补信息，实现更鲁棒的特征学习。
• 设计一种联合学习框架，实现在训练过程中模态间的相互增强。
• 开发一种基于骨架的注意力机制，引导RGB特征提取以提升判别能力。
• 通过端到端训练在基准RGB+深度数据集上实现最先进性能。

提出的方法

• 使用图卷积网络（GCN）从骨架序列中学习时空表征。
• 从RGB视频帧中提取时空感兴趣区域（R-CNNs），以定位相关的人体动作。
• 应用基于骨架的注意力机制，根据骨骼关键点动态变化，引导RGB特征的选择与加权。
• 通过反向传播实现端到端训练，支持双模态的联合优化。
• 在表征层面进行特征融合，结合骨架与RGB流的互补线索。
• 注意力机制利用基于骨架的注意力图，动态聚焦于RGB视频中的运动相关区域。

实验结果

研究问题

• RQ1 骨架与RGB模态的联合学习能否提升人体动作识别的准确性？
• RQ2 骨架信息在RGB特征学习中的注意力机制中引导效果如何？
• RQ3 所提出的多模态融合策略是否在标准基准上优于单模态基线方法？
• RQ4 基于骨架的注意力机制在多大程度上增强了RGB特征的判别性？
• RQ5 统一模型的端到端训练是否优于模态的独立训练？

主要发现

• 所提模型在NTU-RGB+D数据集上实现了最先进性能，优于现有方法。
• 在Northwestern-UCLA Multiview数据集上，该模型在可比方法中报告了最高准确率。
• 基于骨架的注意力机制通过聚焦于运动相关区域，显著提升了RGB特征质量。
• 骨架与RGB模态的融合所生成的表征比单独使用任一模态更具判别性。
• 通过联合优化的端到端训练优于模态的独立训练。
• 图卷积网络能有效捕捉骨架序列中的时空依赖关系，适用于动作识别。