[论文解读] GCsT: Graph Convolutional Skeleton Transformer for Action Recognition.

Ruwen Bai, Min Li+5 more|arXiv (Cornell University)|Sep 7, 2021

Human Pose and Action Recognition参考文献 26被引用 5

一句话总结

GCsT 提出了一种混合架构，结合图卷积网络（GCNs）与 Transformer，用于基于骨架的动作识别，利用 GCNs 建模局部时空依赖性，同时利用 Transformer 实现动态全局注意力。该模型通过在统一且富有表现力的框架中融合局部拓扑与全局上下文，在 NTU RGB+D、NTU RGB+D 120 和 Northwestern-UCLA 数据集上实现了最先进性能。

ABSTRACT

Graph convolutional networks (GCNs) achieve promising performance for skeleton-based action recognition. However, in most GCN-based methods, the spatial-temporal graph convolution is strictly restricted by the graph topology while only captures the short-term temporal context, thus lacking the flexibility of feature extraction. In this work, we present a novel architecture, named Graph Convolutional skeleton Transformer (GCsT), which addresses limitations in GCNs by introducing Transformer. Our GCsT employs all the benefits of Transformer (i.e. dynamical attention and global context) while keeps the advantages of GCNs (i.e. hierarchy and local topology structure). In GCsT, the spatial-temporal GCN forces the capture of local dependencies while Transformer dynamically extracts global spatial-temporal relationships. Furthermore, the proposed GCsT shows stronger expressive capability by adding additional information present in skeleton sequences. Incorporating the Transformer allows that information to be introduced into the model almost effortlessly. We validate the proposed GCsT by conducting extensive experiments, which achieves the state-of-the-art performance on NTU RGB+D, NTU RGB+D 120 and Northwestern-UCLA datasets.

研究动机与目标

• 解决基于 GCN 的方法中固定图拓扑带来的局限性，该局限性限制了在基于骨架的动作识别中灵活的特征提取。
• 通过实现全局时空建模，克服现有 GCN 模型在短期时间上下文上的限制。
• 在不损失层次化和局部结构归纳偏差的前提下，将 Transformer 的优势——动态注意力与全局上下文——整合到 GCN 框架中。
• 通过统一架构引入更丰富的骨架序列信息，从而增强模型的表达能力。
• 在多个基准数据集上实现基于骨架的动作识别的最先进性能。

提出的方法

• 提出一种新型架构 GCsT，将空间-时间图卷积网络（GCNs）与 Transformer 的自注意力机制相结合。
• 利用 GCNs 显式基于预定义的骨架拓扑建模局部时空依赖性。
• 集成 Transformer 模块，以动态学习所有关节和帧之间的长程时空关系。
• 允许 Transformer 对所有节点和时间步进行注意力计算，从而捕捉超越局部感受野的全局上下文。
• 融合 GCN 与 Transformer 分支的输出，在保留局部结构的同时增强全局表征能力。
• 通过最小化的架构修改，将骨架序列中的额外信息引入模型，利用注意力机制实现无缝集成。

实验结果

研究问题

• RQ1 结合 GCNs 与 Transformers 的混合架构能否提升基于骨架的动作识别中的局部与全局建模能力？
• RQ2 将 Transformer 的动态自注意力机制整合进来，如何增强对骨架序列中长程依赖关系的建模能力？
• RQ3 与纯 Transformer 基础模型相比，通过 GCNs 保留局部拓扑在骨架数据上的性能提升程度如何？
• RQ4 所提出的 GCsT 模型能否在不增加架构复杂度的前提下，有效整合更丰富的骨架序列信息？
• RQ5 GCN 与 Transformer 组件的融合是否能在标准骨架动作识别基准上实现最先进性能？

主要发现

• GCsT 在 NTU RGB+D 数据集上实现了最先进性能，动作识别准确率优于先前方法。
• 该模型在更大规模的 NTU RGB+D 120 数据集上也取得了新的最先进结果，展现出良好的可扩展性与鲁棒性。
• GCsT 在 Northwestern-UCLA 数据集上实现了报告的最高准确率，证实了其在多样化动作识别基准上的泛化能力。
• 消融实验表明，GCN 与 Transformer 组件均对性能有显著贡献，且融合策略效果最佳。
• 该模型能有效捕捉局部依赖性与长程时空关系，从而提升特征表示能力。
• 通过注意力机制，额外骨架序列信息被无缝整合，增强了模型表达能力，同时未增加复杂度。