[论文解读] Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for Self-Supervised Skeleton-Based Action Recognition

Zhan Chen, Hong Liu+4 more|arXiv (Cornell University)|Jul 7, 2022

Human Pose and Action Recognition被引用 15

一句话总结

本文提出SkeleMixCLR，一种用于基于骨架动作识别的自监督对比学习框架，通过引入一种新颖的时空骨架混合增强（SkeleMix），生成具有挑战性的对比样本对。通过结合裁剪的骨架片段（裁剪视图）与剩余序列（截断视图），并利用拓扑结构和时空掩码池化，该方法增强了运动表征学习，在NTU-RGB+D、NTU120-RGB+D和PKU-MMD数据集上实现了最先进性能。

ABSTRACT

Self-supervised skeleton-based action recognition with contrastive learning has attracted much attention. Recent literature shows that data augmentation and large sets of contrastive pairs are crucial in learning such representations. In this paper, we found that directly extending contrastive pairs based on normal augmentations brings limited returns in terms of performance, because the contribution of contrastive pairs from the normal data augmentation to the loss get smaller as training progresses. Therefore, we delve into hard contrastive pairs for contrastive learning. Motivated by the success of mixing augmentation strategy which improves the performance of many tasks by synthesizing novel samples, we propose SkeleMixCLR: a contrastive learning framework with a spatio-temporal skeleton mixing augmentation (SkeleMix) to complement current contrastive learning approaches by providing hard contrastive samples. First, SkeleMix utilizes the topological information of skeleton data to mix two skeleton sequences by randomly combing the cropped skeleton fragments (the trimmed view) with the remaining skeleton sequences (the truncated view). Second, a spatio-temporal mask pooling is applied to separate these two views at the feature level. Third, we extend contrastive pairs with these two views. SkeleMixCLR leverages the trimmed and truncated views to provide abundant hard contrastive pairs since they involve some context information from each other due to the graph convolution operations, which allows the model to learn better motion representations for action recognition. Extensive experiments on NTU-RGB+D, NTU120-RGB+D, and PKU-MMD datasets show that SkeleMixCLR achieves state-of-the-art performance. Codes are available at https://github.com/czhaneva/SkeleMixCLR.

研究动机与目标

• 解决标准数据增强在自监督基于骨架的动作识别中对比样本对贡献递减的问题。
• 通过新颖的数据增强方法生成更具信息量的、具有挑战性的对比样本，以改善表征学习。
• 利用骨架序列中的拓扑结构和时空上下文，以实现更优的运动表征学习。
• 在不依赖大规模标注数据的情况下，实现自监督基于骨架动作识别的最先进性能。

提出的方法

• SkeleMix通过基于拓扑结构将骨架关节点划分为五个身体部分，并随机选择其中一部分进行时空裁剪。
• 将裁剪的片段（裁剪视图）与剩余的骨架序列（截断视图）随机组合，形成混合骨架序列。
• 时空掩码池化（STMP）操作在特征层面分离裁剪视图与截断视图，同时保留两者的上下文信息。
• 在裁剪视图与截断视图之间应用对比学习，由于图卷积操作带来的跨视图上下文，形成具有挑战性的正样本对。
• 通过引入多个SkeleMix增强（SkeleMixCLR+）扩展框架，以进一步提升性能。
• 在NTU-60、NTU-120和PKU-MMD上评估该方法，使用关节流、运动流和骨骼流，并在下游动作识别任务中进行微调。

实验结果

研究问题

• RQ1 通过新颖的混合增强策略引入具有挑战性的对比样本对，是否能够提升自监督基于骨架的动作识别性能？
• RQ2 与标准增强方法相比，SkeleMix通过将裁剪的骨架片段与剩余序列结合，对表征学习有何影响？
• RQ3 时空掩码池化操作在多大程度上保留了跨视图上下文信息以支持对比学习？
• RQ4 所提出方法在不同数据集和数据划分（如跨主体、跨视角）上是否具备良好的泛化能力？
• RQ5 SkeleMixCLR是否能在自监督设置下，仅使用极少或无需标注数据，实现最先进性能？

主要发现

• 在NTU-60 Xsub基准上，SkeleMixCLR+达到87.7%的准确率，优于监督方法3s-ST-GCN（85.2%）和先前的自监督方法。
• 在NTU-60 Xview上，SkeleMixCLR+达到82.9%的准确率，超过之前最先进方法（3s-AimCLR为80.9%）。
• 在仅使用1%标注数据的半监督学习设置下，SkeleMixCLR+在PKU-MMD上达到62.6%，在NTU-60 Xsub上达到55.9%，优于所有基线方法。
• 在10%标注数据设置下，SkeleMixCLR+在PKU-MMD上达到88.6%，在NTU-60 Xsub上达到84.7%，展现出在低监督设置下的强大泛化能力。
• t-SNE可视化显示，SkeleMixCLR+生成的特征聚类更紧凑、更可分，且在关节流、运动流和骨骼流上的NMI分数均优于SkeletonCLR。
• 消融实验表明，多个SkeleMix增强（SkeleMixCLR+）可进一步提升性能，证实了多样化具有挑战性对比样本对的有效性。