[论文解读] Graph Contrastive Learning for Skeleton-based Action Recognition

Xiaohu Huang, Hao Zhou+8 more|arXiv (Cornell University)|Jan 26, 2023

Human Pose and Action Recognition被引用 13

一句话总结

SkeletonGCL 引入跨序列图对比学习，利用实例级和语义级记忆库使图表示具备类别判别性，在 NTU60/NTU120/NW-UCLA 的 GCN 基骨架动作识别上提升且没有额外测试时成本。

ABSTRACT

In the field of skeleton-based action recognition, current top-performing graph convolutional networks (GCNs) exploit intra-sequence context to construct adaptive graphs for feature aggregation. However, we argue that such context is still extit{local} since the rich cross-sequence relations have not been explicitly investigated. In this paper, we propose a graph contrastive learning framework for skeleton-based action recognition ( extit{SkeletonGCL}) to explore the extit{global} context across all sequences. In specific, SkeletonGCL associates graph learning across sequences by enforcing graphs to be class-discriminative, \emph{i.e.,} intra-class compact and inter-class dispersed, which improves the GCN capacity to distinguish various action patterns. Besides, two memory banks are designed to enrich cross-sequence context from two complementary levels, \emph{i.e.,} instance and semantic levels, enabling graph contrastive learning in multiple context scales. Consequently, SkeletonGCL establishes a new training paradigm, and it can be seamlessly incorporated into current GCNs. Without loss of generality, we combine SkeletonGCL with three GCNs (2S-ACGN, CTR-GCN, and InfoGCN), and achieve consistent improvements on NTU60, NTU120, and NW-UCLA benchmarks. The source code will be available at \url{https://github.com/OliverHxh/SkeletonGCL}.

研究动机与目标

• 促使在自适应 GCN 进行基于骨架的动作识别时，利用跨序列全局上下文来克服类别模糊的图表示。
• 提出 SkeletonGCL，以强制学习图的类内紧凑性和类间离散性。
• 设计实例级和语义级记忆库，以丰富跨序列上下文用于图对比学习。

提出的方法

• 使用 GCN 编码器处理每个骨架序列，以获得用于分类的特征向量和用于图对比的学习图。
• 通过图投影头将学习图嵌入向量，实现在跨序列对比。
• 构建两个记忆库：实例级记忆库存储每个序列的图，语义级记忆库存储类别聚合的图。
• 使用基于 InfoNCE 的对比损失，在同一类别的图表示之间拉近，在不同类别之间拉远，跨两个记忆库进行对比。
• 以 FIFO 方式更新实例记忆，并通过跨时间戳的动量更新更新语义记忆。
• 将 SkeletonGCL 与现有 GCNs（2S-AGCN、CTR-GCN、InfoGCN）结合，在完全监督设置下端到端训练，无需预训练。

实验结果

研究问题

• RQ1 跨序列图学习能否在超越单序列图的基础上提升动作模式的判别性？
• RQ2 实例级和语义级记忆是否提供互补的上下文以增强基于图的对比学习？
• RQ3 SkeletonGCL 是否兼容多种 GCN 主干网络并在标准骨架动作数据集上有效？

主要发现

• SkeletonGCL 与 2S-AGCN、CTR-GCN、InfoGCN 在 NTU60、NTU120、NW-UCLA 上持续带来性能提升。
• 实例级和语义级记忆库的贡献均有助于性能提升，二者结合时取得最佳结果。
• 图对比在性能上相较仅特征对比具有优势，因为图捕捉了高阶结构信息。
• 跨批次的图对比（跨序列）优于同批次对比，表明更丰富的跨序列上下文有益。
• 训练开销适中（2.6%–7.0% 增加），且没有增加测试时成本。
• 定量分析显示正确分类的样本具有更紧凑的类内图表示和更分散的类间表示。