[论文解读] Contrast-reconstruction Representation Learning for Self-supervised Skeleton-based Action Recognition

Peng Wang, Jun Wen+3 more|arXiv (Cornell University)|Nov 22, 2021

Human Pose and Action Recognition参考文献 72被引用 58

一句话总结

该论文提出对比重建表示学习（CRRL），一种用于基于骨架动作识别的自监督框架，通过结合序列重建与速度序列上的对比学习，联合学习骨架姿态与运动动态。通过知识蒸馏，将对比学习器中的运动知识迁移至重建自编码器，CRRL在无需标注数据的情况下，在多个基准测试中实现了最先进性能。

ABSTRACT

Skeleton-based action recognition is widely used in varied areas, e.g., surveillance and human-machine interaction. Existing models are mainly learned in a supervised manner, thus heavily depending on large-scale labeled data which could be infeasible when labels are prohibitively expensive. In this paper, we propose a novel Contrast-Reconstruction Representation Learning network (CRRL) that simultaneously captures postures and motion dynamics for unsupervised skeleton-based action recognition. It mainly consists of three parts: Sequence Reconstructor, Contrastive Motion Learner, and Information Fuser. The Sequence Reconstructor learns representation from skeleton coordinate sequence via reconstruction, thus the learned representation tends to focus on trivial postural coordinates and be hesitant in motion learning. To enhance the learning of motions, the Contrastive Motion Learner performs contrastive learning between the representations learned from coordinate sequence and additional velocity sequence, respectively. Finally, in the Information Fuser, we explore varied strategies to combine the Sequence Reconstructor and Contrastive Motion Learner, and propose to capture postures and motions simultaneously via a knowledge-distillation based fusion strategy that transfers the motion learning from the Contrastive Motion Learner to the Sequence Reconstructor. Experimental results on several benchmarks, i.e., NTU RGB+D 60, NTU RGB+D 120, CMU mocap, and NW-UCLA, demonstrate the promise of the proposed CRRL method by far outperforming state-of-the-art approaches.

研究动机与目标

• 解决现有自监督骨架动作识别方法过度关注静态姿态、而对运动动态建模不足的局限性。
• 通过在学习过程中引入显式的运动信号（如速度序列），改进无监督表示学习。
• 通过从对比运动学习器向重建自编码器进行知识蒸馏，实现在单一表示中联合建模姿态与运动。
• 验证结合重建与对比学习在自监督骨架动作识别中的有效性。

提出的方法

• 序列重建器（SER）采用编码器-解码器架构，重建原始骨架坐标序列，学习空间姿态表示。
• 对比运动学习器（CML）在坐标序列与速度序列的表示之间执行对比学习，以增强运动动态学习。
• 信息融合器（INF）应用知识蒸馏，其中CML的查询编码器作为教师，指导SER编码器，实现运动感知特征的迁移。
• 框架使用动量更新的键编码器与非更新的键MLP，以稳定对比学习并提升互信息。
• 模型通过重建损失与对比损失的组合进行端到端训练，采用温度缩放与内存库管理正负样本。
• 最终表示来自SER中的学生编码器，其因蒸馏过程而同时捕捉姿态与运动信息。

实验结果

研究问题

• RQ1 与仅依赖坐标重建相比，在自监督骨架动作识别中引入速度序列是否能提升运动动态学习？
• RQ2 从对比运动学习器向重建自编码器进行知识蒸馏，是否能有效迁移运动知识，同时保持姿态表示？
• RQ3 温度与负样本数量等超参数如何影响CRRL中对比学习模块的性能？
• RQ4 所提出的CRRL框架是否在标准骨架动作识别基准上优于现有自监督方法？

主要发现

• 在NTU RGB+D 60数据集的跨主体协议下，CRRL达到73.8%的准确率，优于最先进方法。
• 在NTU RGB+D 120数据集上，CRRL达到67.6%的准确率，表明其在更大动作集合上具有强大的泛化能力。
• 消融实验表明，采用前向与反向重建相比单向重建，性能提升2.5%。
• 在对比模块中使用非更新的键MLP相比动量更新的键MLP，性能提升1.5%。
• 最优温度超参数τ被确定为0.1，可在相似度分布的平滑性与对比学习有效性之间取得平衡。
• VGSR基线方法虽同时学习速度与骨架重建，但仍逊于CRRL，表明所提出的基于蒸馏的融合策略更具优势。