[论文解读] A Large-Scale Analysis on Self-Supervised Video Representation Learning

Akash Kumar, Ashlesha Kumar+2 more|arXiv (Cornell University)|Jun 9, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一项大规模自监督视频表征学习基准，支持在5个数据集上对7种方法和7种架构进行公平比较。研究揭示了若干关键洞见——如非对比方法对噪声更具鲁棒性、时空掩蔽任务在不同数据分布间具有良好的泛化能力，以及通过多样化教师模型的知识蒸馏可显著提升性能——最终提出一种新方法，在仅使用10%预训练数据的情况下超越了当前最先进（SOTA）性能。

ABSTRACT

Self-supervised learning is an effective way for label-free model pre-training, especially in the video domain where labeling is expensive. Existing self-supervised works in the video domain use varying experimental setups to demonstrate their effectiveness and comparison across approaches becomes challenging with no standard benchmark. In this work, we first provide a benchmark that enables a comparison of existing approaches on the same ground. Next, we study five different aspects of self-supervised learning important for videos; 1) dataset size, 2) complexity, 3) data distribution, 4) data noise, and, 5)feature analysis. To facilitate this study, we focus on seven different methods along with seven different network architectures and perform an extensive set of experiments on 5 different datasets with an evaluation of two different downstream tasks. We present several interesting insights from this study which span across different properties of pretraining and target datasets, pretext-tasks, and model architectures among others. We further put some of these insights to the real test and propose an approach that requires a limited amount of training data and outperforms existing state-of-the-art approaches which use 10x pretraining data. We believe this work will pave the way for researchers to a better understanding of self-supervised pretext tasks in video representation learning.

研究动机与目标

• 建立标准化基准，实现对自监督视频表征学习方法的公平比较。
• 分析影响视频中自监督学习（SSL）的五个关键因素：数据集规模、任务复杂度、分布偏移、数据噪声以及特征互补性。
• 在低数据场景下，识别有效掩蔽任务与模型架构的设计原则。
• 通过基于知识蒸馏的方法验证上述洞见，实现在显著减少预训练数据量情况下的SOTA性能。

提出的方法

• 该基准统一了7种自监督方法与7种网络架构的预训练超参数、数据集和评估协议。
• 研究对比了对比学习与非对比学习目标，并采用三种数据增强类型：空间、时间及时空增强。
• 在五个视频动作识别数据集（UCF101、HMDB51、Kinetics400、SSv2、Something-Something V2）上，针对两种下游任务（动作识别与视频检索）进行了大量实验。
• 通过在多种掩蔽任务和数据分布上预训练的多个教师模型，应用知识蒸馏以提取互补特征。
• 在数据噪声与分布偏移条件下评估模型的鲁棒性与泛化能力，采用受控噪声注入与跨数据集评估方法。
• 性能通过动作识别的top-1与top-5准确率，以及视频检索的平均精度均值（mAP）进行衡量。

Figure 1 : Overview of proposed benchmark. We study five different aspects in this benchmark study. Starting from left, 1) we show the analysis of effect of dataset size vs training time . As the dataset size increases, variation in performance decreases even with longer training time, 2) We show th

实验结果

研究问题

• RQ1 预训练数据集规模如何影响下游性能？是否存在某个阈值后出现收益递减现象？
• RQ2 不同复杂度的掩蔽任务如何影响时空表征的学习效果？
• RQ3 在真实世界场景中，对比学习与非对比学习自监督方法对数据噪声的鲁棒性如何？
• RQ4 预训练阶段使用不同数据分布在多大程度上影响模型在下游任务上的泛化能力？
• RQ5 能否通过知识蒸馏将来自不同掩蔽任务与架构的特征进行融合，从而提升性能？

主要发现

• 对比自监督方法学习速度更快，但在数据噪声方面显著不如非对比方法鲁棒。
• 提高掩蔽任务复杂度并不保证获得更好的表征学习效果；性能提升并非随复杂度单调增加。
• 基于时间的掩蔽任务比基于空间或时空的掩蔽任务更具挑战性，表明其对表征能力要求更高。
• 时空掩蔽任务在数据分布偏移下具有良好的泛化能力，即使源数据与目标数据分布不同，仍能保持强性能。
• 通过来自多个教师模型的知识蒸馏——每个教师模型在不同架构、任务与数据分布上进行训练——可带来显著的性能提升，尤其在低数据场景下。
• 所提出的模型仅使用先前SOTA方法10%的预训练数据，即在视频动作识别任务上达到SOTA性能，实现数据量减少90%与资源效率提升80%。

Figure 2 : Architecture Performance Analysis: Variation in performance for different architectures. X-axis shows the relative floating point operations and Y-axis shows the Top-1 Accuracy.