[论文解读] Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition

Chenyang Si, Xuecheng Nie+4 more|arXiv (Cornell University)|Jul 12, 2020

Human Pose and Action Recognition参考文献 46被引用 6

一句话总结

该论文提出对抗自监督学习（ASSL），一种用于弱监督三维动作识别的新框架，通过邻域一致性正则化和对抗特征分布对齐来增强运动表征学习。通过联合优化未标记数据上的自监督学习与对齐有标签和无标签特征分布的对抗正则化，ASSL 在低标签设置下实现了最先进性能，仅使用15%的标签在N-UCLA数据集上达到74.8%的准确率。

ABSTRACT

We consider the problem of semi-supervised 3D action recognition which has been rarely explored before. Its major challenge lies in how to effectively learn motion representations from unlabeled data. Self-supervised learning (SSL) has been proved very effective at learning representations from unlabeled data in the image domain. However, few effective self-supervised approaches exist for 3D action recognition, and directly applying SSL for semi-supervised learning suffers from misalignment of representations learned from SSL and supervised learning tasks. To address these issues, we present Adversarial Self-Supervised Learning (ASSL), a novel framework that tightly couples SSL and the semi-supervised scheme via neighbor relation exploration and adversarial learning. Specifically, we design an effective SSL scheme to improve the discrimination capability of learned representations for 3D action recognition, through exploring the data relations within a neighborhood. We further propose an adversarial regularization to align the feature distributions of labeled and unlabeled samples. To demonstrate effectiveness of the proposed ASSL in semi-supervised 3D action recognition, we conduct extensive experiments on NTU and N-UCLA datasets. The results confirm its advantageous performance over state-of-the-art semi-supervised methods in the few label regime for 3D action recognition.

研究动机与目标

• 为解决在弱监督三维动作识别中，从无标签三维骨骼序列学习判别性运动表征的挑战。
• 克服自监督学习与监督学习所学表征之间的不匹配问题。
• 通过有效利用无标签数据，提升模型在低标签设置下的泛化能力。
• 提出一个统一框架，通过邻域探索与对抗正则化，紧密耦合自监督与弱监督学习。

提出的方法

• 提出一种邻域一致性正则化方案，强制局部邻域内样本的运动表征保持一致，增强类别级别的语义理解。
• 引入一种自修复掩码（self-inpainting）的预训练任务，从未标记的骨骼序列中学习时间运动模式。
• 采用对抗训练，使用领域判别器对齐有标签与无标签样本的特征分布，减少监督与自监督表征之间的领域偏移。
• 通过联合优化目标，结合有标签数据的监督学习与无标签数据的自监督学习。
• 使用t-SNE可视化展示对抗对齐后，学习到的特征聚类更紧密、类间分离性更强。
• 采用孪生网络架构计算邻域关系，并在相似骨骼序列间强制表征一致性。

实验结果

研究问题

• RQ1 基于邻域的一致性正则化是否能提升三维动作识别中自监督运动表征的判别性？
• RQ2 有标签与无标签数据之间的对抗特征分布对齐是否能减少表征不匹配，并提升弱监督三维动作识别的泛化能力？
• RQ3 在低标签设置下，所提出的ASSL框架相较于现有弱监督与自监督方法的性能提升效果如何？
• RQ4 探索局部数据关系（邻域）在多大程度上增强模型从无标签数据中推断潜在动作语义的能力？

主要发现

• 在仅使用5%有标签数据的NTU数据集中，ASSL达到57.3%的准确率，显著优于监督基线模型与消融变体。
• 在使用15%标签的N-UCLA数据集中，ASSL达到74.8%的准确率，展现出在低监督设置下的强大性能。
• 消融实验表明，当所有组件均包含时，对抗正则化使N-UCLA上的性能提升8.4%（从66.4%提升至74.8%）。
• t-SNE可视化显示，采用对抗训练的ASSL使有标签与无标签样本的特征聚类更紧密、类间分离更明显，表明表征的类内紧凑性与类间可分性均得到改善。
• 训练过程中，类别一致的邻域比例持续上升，证实邻域探索有助于揭示潜在的类别语义。
• 所提方法优于现有最先进弱监督三维动作识别方法，在NTU与N-UCLA数据集上均刷新了SOTA结果。