[论文解读] Self-Supervised Learning via multi-Transformation Classification for Action Recognition

Duc Quang Vu, Ngan Le+1 more|arXiv (Cornell University)|Feb 20, 2021

Human Pose and Action Recognition参考文献 37被引用 6

一句话总结

本文提出一种自监督视频表征学习方法，通过训练3D卷积神经网络（3D CNN）对七种不同的视频转换（如旋转、帧替换和颜色切换）进行分类，实现鲁棒的时空特征学习。该方法在UCF101（62.8%）和HMDB51（35.9%）上取得了最先进（SOTA）的准确率，采用C3D和3D ResNet-18主干网络，优于以往的自监督方法，且无需依赖Kinetics等大规模数据集。

ABSTRACT

Self-supervised tasks have been utilized to build useful representations that can be used in downstream tasks when the annotation is unavailable. In this paper, we introduce a self-supervised video representation learning method based on the multi-transformation classification to efficiently classify human actions. Self-supervised learning on various transformations not only provides richer contextual information but also enables the visual representation more robust to the transforms. The spatio-temporal representation of the video is learned in a self-supervised manner by classifying seven different transformations i.e. rotation, clip inversion, permutation, split, join transformation, color switch, frame replacement, noise addition. First, seven different video transformations are applied to video clips. Then the 3D convolutional neural networks are utilized to extract features for clips and these features are processed to classify the pseudo-labels. We use the learned models in pretext tasks as the pre-trained models and fine-tune them to recognize human actions in the downstream task. We have conducted the experiments on UCF101 and HMDB51 datasets together with C3D and 3D Resnet-18 as backbone networks. The experimental results have shown that our proposed framework is outperformed other SOTA self-supervised action recognition approaches. The code will be made publicly available.

研究动机与目标

• 开发一种自监督视频表征学习方法，以减少对昂贵人工标注的依赖，用于动作识别。
• 通过在掩码预训练期间对视频片段应用多种转换，提升时空特征学习能力。
• 证明多转换分类在下游动作识别任务中优于单转换方法。
• 在标准基准数据集（UCF101和HMDB51）上，验证该方法在不同主干网络（C3D和3D ResNet-18）上的有效性。
• 通过多样化转换构建一种简单但强大的数据增强策略，以提升模型泛化能力。

提出的方法

• 对输入视频片段应用七种不同的视频转换——旋转、片段反转、排列、拆分-拼接、颜色切换、帧替换和噪声添加——以生成伪标签。
• 使用3D卷积神经网络（3D CNN）对每段视频片段所应用的转换类型进行分类，将转换类型作为掩码任务。
• 利用自监督学习在这些转换分类任务上进行预训练，学习丰富的时空表征，无需人工标注标签。
• 预训练完成后，使用标准的监督训练方式在下游动作识别任务上对学习到的3D CNN特征进行微调。
• 该方法同时利用空间和时间域的转换，使模型能够学习到鲁棒且可泛化的表征。
• 在UCF101和HMDB51数据集上，使用C3D和3D ResNet-18作为主干网络对框架进行评估。

实验结果

研究问题

• RQ1 在自监督学习中，多转换分类能否提升视频动作识别的时空表征学习能力？
• RQ2 与单转换基线相比，多转换分类在下游动作识别准确率方面表现如何？
• RQ3 所提出的方法是否能在不同主干架构（如C3D和3D ResNet-18）和数据集（UCF101和HMDB51）上实现泛化？
• RQ4 该方法是否能在不依赖Kinetics等大规模数据集的情况下实现最先进性能？
• RQ5 每种单独转换对整体性能的贡献是什么？组合多种转换如何增强模型鲁棒性？

主要发现

• 使用3D ResNet-18主干网络，该方法在UCF101上达到62.8%的top-1准确率，在HMDB51上达到35.9%，在两个数据集上均优于所有先前的自监督方法。
• 从零开始微调时，C3D和3D ResNet-18在UCF101和HMDB51上的准确率分别提高了16.7%和14.5%，证明了自监督预训练的价值。
• 与单转换基线相比，多转换分类使动作识别准确率至少提升了10.6%；即使表现最好的单个转换（帧旋转）在UCF101上也仅达到52.2%的准确率。
• 多转换设置的验证损失比单个转换更早且更稳定地收敛，表明训练过程具有更好的收敛性和泛化能力。
• 在相同C3D主干网络下，该方法在UCF101上比Video Jigsaw和Motion & Appearance方法高出2.0%，且未使用Kinetics数据集进行预训练。
• 消融研究证实，组合多种转换能显著增强特征学习，因为每种转换引入了独特的时空归纳偏置。