[论文解读] Action Recognition via Pose-Based Graph Convolutional Networks with Intermediate Dense Supervision

Lei Shi, Yifan Zhang+2 more|arXiv (Cornell University)|Nov 28, 2019

Human Pose and Action Recognition参考文献 39被引用 13

一句话总结

本文提出一种基于姿态的图卷积网络（PGCN），通过自适应图卷积模块建模人体各部位之间的时空相关性，显著提升了动作识别性能。此外，引入中间密集监督机制，防止主干网络仅关注最具判别性的身体部位，从而在无需额外推理成本的情况下，在Sub-JHMDB、PennAction和NTU-RGBD数据集上达到最先进性能。

ABSTRACT

Pose-based action recognition has drawn considerable attention recently. Existing methods exploit the joint positions to extract the body-part features from the activation map of the convolutional networks to assist human action recognition. However, these features are simply concatenated or max-pooled in previous works. The structured correlations among the body parts, which are essential for understanding complex human actions, are not fully exploited. To address the problem, we propose a pose-based graph convolutional network (PGCN), which encodes the body-part features into a human-based spatiotemporal graph, and explicitly models their correlations with a novel light-weight adaptive graph convolutional module to produce a highly discriminative representation for human action recognition. Besides, we discover that the backbone network tends to identify patterns from the most discriminative areas of the input regardless of the others. Thus the features pooled by the joint positions from other areas are less informative, which consequently hampers the performance of the followed aggregation process for recognizing actions. To alleviate this issue, we introduce a simple intermediate dense supervision mechanism for the backbone network, which adequately addresses the problem with no extra computation cost during inference. We evaluate the proposed approach on three popular benchmarks for pose-based action recognition tasks, i.e., Sub-JHMDB, PennAction and NTU-RGBD, where our approach significantly outperforms state-of-the-arts without the bells and whistles.

研究动机与目标

• 解决现有基于姿态的动作识别方法将身体部位特征独立处理的问题，忽略关节之间的结构化相关性。
• 缓解主干卷积神经网络倾向于仅关注最具判别性的区域，导致对信息量较少但相关特征利用不足的问题。
• 通过轻量级图卷积模块显式建模身体部位之间动态自适应关系，提升动作识别性能。
• 引入中间密集监督机制，在不增加推理成本的前提下增强所有输入区域的特征学习。

提出的方法

• 利用3D CNN最后一层特征图中的池化人体部位特征构建人体时空图，节点表示关节约，边编码物理和学习到的结构关系。
• 采用一种新颖的轻量级自适应图卷积模块，基于特征相关性学习动态边权重，实现对复杂动作动态的有效建模。
• 通过将全局平均池化替换为使用密集头分类损失对最后一层特征图中所有空间位置进行直接监督，引入中间密集监督机制。
• 采用统一框架融合RGB视频与姿态坐标，实现外观与时空结构的联合优化，提升识别性能。
• 应用基于姿态的池化机制从I3D主干网络中提取区域特定特征，随后输入图模块进行上下文感知的表征学习。

实验结果

研究问题

• RQ1 通过可学习的图卷积模块建模身体部位之间的结构化相关性，是否能超越简单的拼接或池化操作，显著提升动作识别性能？
• RQ2 中间密集监督是否能有效防止主干网络在训练过程中仅关注最具判别性的身体区域？
• RQ3 所提出的PGCN是否能在不依赖额外输入（如光流或姿态估计图）的前提下，在基于姿态的动作识别基准上实现最先进性能？
• RQ4 通过统一框架融合外观与姿态特征，与模态专用模型相比，是否能显著提升识别准确率？

主要发现

• PGCN结合中间密集监督在Sub-JHMDB数据集split 1上达到89.9%的准确率，相比之前SOTA提升2.8%，且无需额外技巧。
• 在PennAction数据集上，该方法达到98.1%的准确率，较先前SOTA提升0.8%，展现出在多样化动作类别中的鲁棒性。
• 在更大的NTU-RGBD数据集上，PGCN达到94.0%的准确率，超越之前SOTA 4.7%，凸显其可扩展性与泛化能力。
• 在I3D+FC上应用中间密集监督机制后，Sub-JHMDB与PennAction的性能分别提升1.1%，证明其在增强特征多样性方面的有效性。
• 在统一的PGCN框架中融合RGB与姿态特征，在Sub-JHMDB上达到91.0%的准确率，较最佳单模态方法提升1.3%，表明两者具有强互补性。