[论文解读] Centrality Graph Convolutional Networks for Skeleton-based Action Recognition

Dong Yang, Monica Mengqi Li+3 more|arXiv (Cornell University)|Mar 6, 2020

Human Pose and Action Recognition参考文献 57被引用 14

一句话总结

该论文提出中心性图卷积网络（CGCN），通过关节中心性建模骨架的拓扑结构，识别关键关节和骨骼，从而提升基于骨架的动作识别性能。通过在四通道框架中集成中心性感知图卷积与自适应图学习，CGCN在NTU RGB+D和Kinetics数据集上实现了最先进性能。

ABSTRACT

The topological structure of skeleton data plays a significant role in human action recognition. Combining the topological structure with graph convolutional networks has achieved remarkable performance. In existing methods, modeling the topological structure of skeleton data only considered the connections between the joints and bones, and directly use physical information. However, there exists an unknown problem to investigate the key joints, bones and body parts in every human action. In this paper, we propose the centrality graph convolutional networks to uncover the overlooked topological information, and best take advantage of the information to distinguish key joints, bones, and body parts. A novel centrality graph convolutional network firstly highlights the effects of the key joints and bones to bring a definite improvement. Besides, the topological information of the skeleton sequence is explored and combined to further enhance the performance in a four-channel framework. Moreover, the reconstructed graph is implemented by the adaptive methods on the training process, which further yields improvements. Our model is validated by two large-scale datasets, NTU-RGB+D and Kinetics, and outperforms the state-of-the-art methods.

研究动机与目标

• 解决现有方法中对所有关节和骨骼同等对待、未能识别人体骨架中关键结构组件的局限性。
• 通过强调关节和骨骼在动作表征中的中心性，挖掘骨架序列中隐藏的拓扑信息。
• 通过在训练过程中集成中心性感知图卷积与自适应图学习，提升动作识别性能。
• 设计一个四通道框架，融合空间、时间与中心性增强特征，实现鲁棒的动作分类。
• 在大规模基准数据集上验证所提方法的有效性，实现最先进结果。

提出的方法

• 提出一种中心性图卷积网络，通过计算节点中心性得分，突出骨架图中的关键关节和骨骼。
• 提出一种新型图卷积机制，基于节点和边的中心性对特征进行加权，增强关键身体部位的贡献。
• 采用四通道框架，融合原始、中心性加权及重构的图特征与时间动态信息，以改善表征能力。
• 在训练过程中应用自适应图学习，动态重构骨架拓扑，捕捉演化的结构关系。
• 使用具有可学习参数的图卷积网络（GCNs）处理骨架序列，同时保持拓扑结构。
• 以物理关节连接作为初始图拓扑，再通过中心性和自适应学习进行优化，以提升性能。

实验结果

研究问题

• RQ1 骨架图中的中心性度量在提升动作识别中关键关节与骨骼识别方面有何作用？
• RQ2 与标准GCN方法相比，集成拓扑中心性在多大程度上提升了性能？
• RQ3 在训练过程中进行自适应图重构是否能进一步提升复杂骨架序列的识别准确率？
• RQ4 所提出的四通道框架结合中心性感知特征，与现有最先进模型相比表现如何？

主要发现

• 所提出的CGCN模型在NTU RGB+D数据集上实现了最先进性能，显著优于现有方法的动作识别准确率。
• 引入中心性感知图卷积后，在动作分类过程中对关键关节与骨骼的区分能力得到可测量的提升。
• 四通道框架融合原始、中心性加权及重构的图特征，显著增强了模型的鲁棒性与准确性。
• 训练过程中采用自适应图学习，通过基于学习到的结构重要性动态优化骨架拓扑，进一步提升了性能。
• 该模型在Kinetics数据集上表现出强泛化能力，证实其有效性不仅限于单数据集优化。
• 消融实验表明，中心性建模与自适应图重构是整体性能提升的关键因素。