[论文解读] Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition

Tailin Chen, Desen Zhou+5 more|arXiv (Cornell University)|Aug 10, 2021

Human Pose and Action Recognition参考文献 41被引用 8

一句话总结

本文提出了一种双头时空图网络，联合建模粗粒度和细粒度骨骼运动模式以实现动作识别。通过使用两个交错的GCN分支并引入跨头注意力机制以增强特征交互，该方法在NTU RGB+D 60、NTU RGB+D 120和Kinetics-Skeleton数据集上实现了最先进性能，显著提升了对细粒度动作的识别能力。

ABSTRACT

The task of skeleton-based action recognition remains a core challenge in human-centred scene understanding due to the multiple granularities and large variation in human motion. Existing approaches typically employ a single neural representation for different motion patterns, which has difficulty in capturing fine-grained action classes given limited training data. To address the aforementioned problems, we propose a novel multi-granular spatio-temporal graph network for skeleton-based action classification that jointly models the coarse- and fine-grained skeleton motion patterns. To this end, we develop a dual-head graph network consisting of two interleaved branches, which enables us to extract features at two spatio-temporal resolutions in an effective and efficient manner. Moreover, our network utilises a cross-head communication strategy to mutually enhance the representations of both heads. We conducted extensive experiments on three large-scale datasets, namely NTU RGB+D 60, NTU RGB+D 120, and Kinetics-Skeleton, and achieves the state-of-the-art performance on all the benchmarks, which validates the effectiveness of our method.

研究动机与目标

• 为解决基于骨架的动作识别中细粒度动作识别的挑战，现有方法依赖于单粒度表示。
• 显式建模骨架序列中的粗粒度与细粒度时间运动模式，以提升判别能力。
• 设计一种高效的双头架构，在不同时间分辨率下处理特征，同时实现跨分支特征增强。
• 验证跨头注意力机制在跨粒度表示学习中的有效性。
• 在包括NTU RGB+D 60、NTU RGB+D 120和Kinetics-Skeleton在内的大规模基准上实现最先进性能。

提出的方法

• 该方法采用具有两个交错分支的双头图神经网络：一个用于粗粒度特征（时间下采样），另一个用于细粒度特征（原始分辨率）。
• 主干GCN从输入骨架序列中提取基础特征，随后分为两个分支。
• 粗粒度分支处理下采样后的特征，以在较低时间分辨率下捕捉整体运动模式。
• 细粒度分支保留完整的时间分辨率，并使用嵌入函数生成详细的运动表征。
• 引入跨头时间与空间注意力机制，将细粒度上下文信息从细粒度分支传递至粗粒度分支，从而增强其表征能力。
• 最终将两个分支的特征进行融合，用于双粒度动作分类，并应用模型简化策略以平衡复杂度与性能。

实验结果

研究问题

• RQ1 同时建模粗粒度与细粒度时间运动模式是否能提升骨架数据上的动作识别性能？
• RQ2 双头图网络如何有效提取并跨不同时空粒度进行特征通信？
• RQ3 跨头注意力机制在增强粗粒度与细粒度分支之间特征表征方面有何影响？
• RQ4 时间下采样率如何影响粗粒度分支捕捉有意义运动模式的能力？
• RQ5 简化架构是否能在降低模型复杂度的同时保持高精度，适用于基于骨架的动作识别？

主要发现

• 所提方法在NTU RGB+D X-Sub数据集上实现了90.3%的最先进准确率，优于该基准上的先前方法。
• 在NTU RGB+D 60上，模型达到93.4%的准确率，展现出在各类动作上的强大泛化能力。
• 在NTU RGB+D 120上，该方法取得88.7%的准确率，证实其在更大、更复杂动作集合上的有效性。
• 在Kinetics-Skeleton上，模型达到78.9%的准确率，表明其在大规模、多样化动作数据集上的鲁棒性。
• 消融实验表明，跨头注意力相比自学习注意力可将性能提升0.3%，凸显其在特征交互中的价值。
• 粗粒度分支的最优时间下采样率为1/2，此时性能最佳；进一步下采样会因关键帧丢失而降低准确率。