[论文解读] Actionlet-Dependent Contrastive Learning for Unsupervised Skeleton-Based Action Recognition

Lilang Lin, Jiahang Zhang+1 more|arXiv (Cornell University)|Mar 20, 2023

Human Pose and Action Recognition被引用 5

一句话总结

该论文提出 ActCLR，一种用于基于骨骼动作识别的自监督对比学习方法，通过挖掘无监督的动作片段（actionlets）——代表运动的判别性骨骼子集——自适应地建模运动和静态区域。通过将序列与平均运动锚点进行对比以识别动作片段，该方法应用运动自适应数据增强和语义感知特征池化，在 NTU RGB+D 和 PKUMMD 上实现了无监督状态最先进性能。

ABSTRACT

The self-supervised pretraining paradigm has achieved great success in skeleton-based action recognition. However, these methods treat the motion and static parts equally, and lack an adaptive design for different parts, which has a negative impact on the accuracy of action recognition. To realize the adaptive action modeling of both parts, we propose an Actionlet-Dependent Contrastive Learning method (ActCLR). The actionlet, defined as the discriminative subset of the human skeleton, effectively decomposes motion regions for better action modeling. In detail, by contrasting with the static anchor without motion, we extract the motion region of the skeleton data, which serves as the actionlet, in an unsupervised manner. Then, centering on actionlet, a motion-adaptive data transformation method is built. Different data transformations are applied to actionlet and non-actionlet regions to introduce more diversity while maintaining their own characteristics. Meanwhile, we propose a semantic-aware feature pooling method to build feature representations among motion and static regions in a distinguished manner. Extensive experiments on NTU RGB+D and PKUMMD show that the proposed method achieves remarkable action recognition performance. More visualization and quantitative experiments demonstrate the effectiveness of our method. Our project website is available at https://langlandslin.github.io/projects/ActCLR/

研究动机与目标

• 为解决现有自监督骨骼方法对运动和静态区域一视同仁的局限性，这种处理方式因对运动敏感关节的过度增强而降低性能。
• 通过与全局平均运动锚点对比，实现无监督发现动作片段——代表运动的判别性骨骼子集。
• 设计一种运动自适应数据变换策略，仅对非动作片段区域应用更强的增强，以保留运动语义。
• 开发一种语义感知特征池化机制，通过聚焦动作片段区域来增强运动表征，同时最小化静态关节的干扰。
• 证明将运动与静态区域解耦可提升自监督动作识别中的泛化能力和鲁棒性。

提出的方法

• 通过将每个骨骼序列与所有训练序列的平均运动进行对比，无监督地挖掘动作片段，将偏差最大的区域识别为运动主导区域。
• 平均运动序列作为静态锚点，使无监督识别动作片段成为可能，无需动作标签。
• 运动自适应数据增强策略仅对非动作片段区域应用更强的变换（如噪声、掩码），以保持运动区域的语义一致性。
• 通过分别提取和聚合动作片段与非动作片段区域的特征，应用语义感知特征池化，以增强运动表征。
• 通过同一序列在不同增强下的正样本对优化对比学习目标，动作片段引导策略提升了特征判别能力。
• 通过相似性挖掘损失正则化特征空间，促进动作类别更好的聚类。

实验结果

研究问题

• RQ1 能否通过从骨骼序列中无监督挖掘动作片段来提升自监督对比学习在动作识别中的性能？
• RQ2 是否仅对非动作片段区域应用运动自适应数据增强可带来更优的特征学习和鲁棒性？
• RQ3 与全局池化相比，强调动作片段区域的语义感知特征池化能否提升模型性能？
• RQ4 将运动与静态区域解耦如何影响自监督基于骨骼的动作识别的泛化能力和准确率？
• RQ5 与对所有关节统一增强相比，所提方法是否对数据增强噪声更具鲁棒性？

主要发现

• 在 NTU RGB+D 60 x-views 基准上，ActCLR 仅使用自监督预训练即达到 78.04% 的 KNN 准确率和 86.79% 的线性探测准确率。
• 在 PKUMMD 上，ActCLR 达到 74.31% 的 KNN 准确率和 83.52% 的线性探测准确率，优于当前最先进的自监督方法。
• 运动自适应变换策略降低了噪声下的性能退化：在噪声强度为 0.1 时，非动作片段区域的准确率仅下降 1.33%，而全区域增强下降 2.32%。
• 语义感知特征池化在离线使用时将 KNN 准确率提升 1.66%，证明其在增强运动表征方面的有效性。
• 消融实验表明，仅使用动作片段区域即可达到 76.38% 的 KNN 准确率，与全骨骼特征相当，而非动作片段区域仅达 67.50% 准确率，证实动作片段捕捉了主要运动信号。
• 可视化结果表明，动作片段定位于运动主导关节（如‘投掷’动作中的手部），验证了其判别性与时空特性。