[论文解读] Focal and Global Spatial-Temporal Transformer for Skeleton-based Action Recognition

Zhimin Gao, Peitao Wang+6 more|arXiv (Cornell University)|Oct 6, 2022

Human Pose and Action Recognition被引用 5

一句话总结

本文提出FG-STFormer，一种基于Transformer的新型骨架动作识别模型，通过焦点关节选择与全局部件交互，增强空间与时间建模能力。通过在时间流中整合焦点注意力与全局注意力机制及空洞卷积，该模型在NTU-60、NTU-120和NW-UCLA数据集上实现最先进性能，优于现有的Transformer与GCN-based方法。

ABSTRACT

Despite great progress achieved by transformer in various vision tasks, it is still underexplored for skeleton-based action recognition with only a few attempts. Besides, these methods directly calculate the pair-wise global self-attention equally for all the joints in both the spatial and temporal dimensions, undervaluing the effect of discriminative local joints and the short-range temporal dynamics. In this work, we propose a novel Focal and Global Spatial-Temporal Transformer network (FG-STFormer), that is equipped with two key components: (1) FG-SFormer: focal joints and global parts coupling spatial transformer. It forces the network to focus on modelling correlations for both the learned discriminative spatial joints and human body parts respectively. The selective focal joints eliminate the negative effect of non-informative ones during accumulating the correlations. Meanwhile, the interactions between the focal joints and body parts are incorporated to enhance the spatial dependencies via mutual cross-attention. (2) FG-TFormer: focal and global temporal transformer. Dilated temporal convolution is integrated into the global self-attention mechanism to explicitly capture the local temporal motion patterns of joints or body parts, which is found to be vital important to make temporal transformer work. Extensive experimental results on three benchmarks, namely NTU-60, NTU-120 and NW-UCLA, show our FG-STFormer surpasses all existing transformer-based methods, and compares favourably with state-of-the art GCN-based methods.

研究动机与目标

• 为解决现有Transformer模型在骨架动作识别中的局限性，即对所有关节一视同仁，难以有效建模局部动态特性。
• 通过聚焦于具有判别性的局部关节（焦点关节）并利用身体部位表征保留全局结构依赖性，改进空间建模。
• 通过在自注意力机制中引入空洞卷积，显式捕捉短程运动模式，以增强时间建模能力。
• 通过跨注意力机制联合学习焦点关节与身体部位之间的交互，以改善空间依赖性表征。
• 在不依赖图卷积网络的前提下，实现在标准骨架动作识别基准上的最先进性能。

提出的方法

• 提出FG-SFormer，一种空间Transformer模型，通过多头自注意力机制自适应选择信息量高的焦点关节并建模其相关性，同时排除非信息性关节。
• 引入全局身体部位表征以捕捉结构上下文信息，并通过焦点关节与身体部位之间的相互跨注意力机制增强空间协作。
• 设计FG-TFormer，一种时间Transformer模型，将空洞卷积集成到全局自注意力机制中，以显式建模局部时间运动模式。
• 采用双流架构：FG-SFormer用于空间建模，FG-TFormer用于时间建模，两者均基于关节与部位表征运行。
• 采用可学习注意力分数机制，根据每个动作的信息量识别并优先选择焦点关节。
• 融合四种模态特征——关节、骨骼、关节运动与骨骼运动，以提升泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 基于Transformer的模型能否有效建模骨架动作识别中的局部判别性关节与全局身体部位结构？
• RQ2 如何缓解原始Transformer缺乏归纳偏置的问题，以捕捉长骨架序列中的短期时间动态？
• RQ3 通过空洞卷积显式建模局部时间模式，是否能提升Transformer在动作识别中的时间表征学习能力？
• RQ4 通过跨注意力机制建模关节与部位之间的交互，是否能相比对所有关节使用标准自注意力机制，更有效地增强空间依赖性学习？
• RQ5 纯Transformer架构能否在标准骨架动作识别基准上超越或匹配最先进GCN-based模型的性能？

主要发现

• 在NTU-60（X-Sub）上，FG-STFormer达到92.6%的top-1准确率，在NTU-60（X-View）上达到96.7%，超越所有现有基于Transformer的方法。
• 在NTU-120上，FG-STFormer在X-Sub设置下取得89.0%的top-1准确率，在X-Set设置下达到90.6%，分别优于先前最先进方法STST 0.1%与1.6%。
• 在NW-UCLA上，FG-STFormer达到97.0%的top-1准确率，超过先前最先进方法CTR-GCN 0.5%，创下新的最先进水平。
• 消融实验表明，焦点关节选择与空洞卷积集成均显著提升性能，尤其在涉及手部、脚部与头部的细粒度动作中表现更优。
• 可视化结果表明，焦点关节始终被稳定选择在关键身体部位（如手部、脚部、肩部），注意力权重揭示了与动作语义一致的有意义关节-部位交互。
• 与基础Transformer基线相比，FG-TFormer模块在细粒度动作类别上显著提升准确率，证明其在捕捉细微运动模式方面的有效性。