[论文解读] Contrastive Learning from Extremely Augmented Skeleton Sequences for Self-supervised Action Recognition

Tianyu Guo, Hong Liu+4 more|arXiv (Cornell University)|Dec 7, 2021

Human Pose and Action Recognition被引用 11

一句话总结

该论文提出AimCLR，一种用于基于骨骼动作识别的自监督对比学习框架，通过采用极端数据增强和一种新颖的信息挖掘策略，学习更具泛化能力的表征。通过引入基于能量的注意力引导丢弃机制、双分布差异最小化以及最近邻挖掘，AimCLR在多个基准测试中实现了最先进性能，在线性评估协议下于NTU RGB+D 120上相比之前方法最高提升4.0%。

ABSTRACT

In recent years, self-supervised representation learning for skeleton-based action recognition has been developed with the advance of contrastive learning methods. The existing contrastive learning methods use normal augmentations to construct similar positive samples, which limits the ability to explore novel movement patterns. In this paper, to make better use of the movement patterns introduced by extreme augmentations, a Contrastive Learning framework utilizing Abundant Information Mining for self-supervised action Representation (AimCLR) is proposed. First, the extreme augmentations and the Energy-based Attention-guided Drop Module (EADM) are proposed to obtain diverse positive samples, which bring novel movement patterns to improve the universality of the learned representations. Second, since directly using extreme augmentations may not be able to boost the performance due to the drastic changes in original identity, the Dual Distributional Divergence Minimization Loss (D$^3$M Loss) is proposed to minimize the distribution divergence in a more gentle way. Third, the Nearest Neighbors Mining (NNM) is proposed to further expand positive samples to make the abundant information mining process more reasonable. Exhaustive experiments on NTU RGB+D 60, PKU-MMD, NTU RGB+D 120 datasets have verified that our AimCLR can significantly perform favorably against state-of-the-art methods under a variety of evaluation protocols with observed higher quality action representations. Our code is available at https://github.com/Levigty/AimCLR.

研究动机与目标

• 解决现有基于骨骼的动作识别对比学习方法中对新型运动模式探索不足的问题。
• 缓解由极端数据增强引起的剧烈身份变化导致的性能下降问题。
• 通过将正样本集扩展至标准对比对之外，提升特征学习能力。
• 通过更合理的正样本挖掘策略提升表征质量。
• 在多种评估协议（包括线性、微调和半监督设置）下实现最先进性能。

提出的方法

• 提出极端增强方法，生成多样化且身份扭曲的视图，以暴露新型运动模式。
• 引入基于能量的注意力引导丢弃模块（EADM），在增强过程中选择性抑制信息量较少的关节点，提升模型鲁棒性。
• 设计双分布差异最小化损失（D3M Loss），温和对齐正常视图与极端视图之间的特征分布，减少分布偏移。
• 采用最近邻挖掘（NNM）方法，通过从内存库中引入语义相似样本扩展正样本集，提升学习效率。
• 在对比学习框架中整合极端视图、EADM、D3M Loss与NNM，实现丰富信息挖掘。
• 采用双流对比目标，结合关节流、骨骼流与坐标流，提升特征多样性与泛化能力。

实验结果

研究问题

• RQ1 极端数据增强是否能显著提升自监督骨骼表征的泛化能力？
• RQ2 如何缓解极端增强导致的骨骼身份剧烈变化，以保持性能？
• RQ3 更合理的正样本挖掘策略是否能超越标准正样本对，提升对比学习性能？
• RQ4 从多样化增强视图中引入丰富信息是否能带来更好的动作表征学习？
• RQ5 所提方法是否能在多种评估协议（包括线性、微调和半监督设置）下实现最先进性能？

主要发现

• 在NTU RGB+D 60上，3s-AimCLR在xsub协议下达到54.8%的准确率，在xview协议下达到54.3%，分别优于3s-CrosSCLR 3.7%和4.0%。
• 在PKU-MMD上，3s-AimCLR在部分I达到57.5%，在部分II达到15.1%，分别优于3s-CrosSCLR 7.8%和4.9%。
• 仅使用1%标注数据时，3s-AimCLR在PKU-MMD部分I达到86.1%，在NTU-60 xview上达到81.6%，显著超过ISC和3s-CrosSCLR。
• 在微调评估中，3s-AimCLR在NTU-60 xsub上达到86.9%，在xset上达到80.9%，分别优于3s-CrosSCLR 0.7%和0.5%。
• 在NTU-120上，3s-AimCLR在xsub上达到80.1%，在xset上达到80.9%，分别优于先前最先进方法ISC 0.5%和0.8%。
• KNN评估显示，AimCLR学习到的特征更具判别性，在所有数据集上均一致优于SkeletonCLR。