[论文解读] A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning

Christoph Feichtenhofer, Haoqi Fan+3 more|arXiv (Cornell University)|Apr 29, 2021

Human Pose and Action Recognition参考文献 94被引用 19

一句话总结

本文提出了一种简单但高效的无监督时空表征学习方法，通过在视频片段间鼓励时间特征持续性，将基于图像的对比学习框架（MoCo、SimCLR、BYOL、SwAV）以最小修改推广至视频任务。该方法在多个基准测试中达到最先进性能，甚至在部分情况下超越了监督预训练，且表明长达60秒的长时序一致性显著提升了下游任务的准确率。

ABSTRACT

We present a large-scale study on unsupervised spatiotemporal representation learning from videos. With a unified perspective on four recent image-based frameworks, we study a simple objective that can easily generalize all these methods to space-time. Our objective encourages temporally-persistent features in the same video, and in spite of its simplicity, it works surprisingly well across: (i) different unsupervised frameworks, (ii) pre-training datasets, (iii) downstream datasets, and (iv) backbone architectures. We draw a series of intriguing observations from this study, e.g., we discover that encouraging long-spanned persistency can be effective even if the timespan is 60 seconds. In addition to state-of-the-art results in multiple benchmarks, we report a few promising cases in which unsupervised pre-training can outperform its supervised counterpart. Code is made available at https://github.com/facebookresearch/SlowFast

研究动机与目标

• 探究是否可通过一种简单统一的时间特征持续性目标，实现对多种无监督视频表征学习框架的泛化。
• 评估在大规模视频数据集（包括Kinetics和Instagram）上进行无监督预训练在多种下游任务中的有效性。
• 识别影响表征质量的关键超参数，如时间跨度、片段数量和数据整理方式。
• 对比无监督预训练与监督预训练在视频动作识别与检测任务中的表现。
• 针对主干网络架构、数据增强和训练时长，提供无监督视频学习的全面消融研究。

提出的方法

• 该方法通过将图像对比学习中的图像裁剪替换为同一视频的时间片段，推广了图像对比学习，以促进来自同一视频的不同片段表征之间的相似性。
• 在MoCo、SimCLR、BYOL和SwAV四个框架中应用统一的对比目标，分别使用负样本或动量编码器，仅进行最小的架构修改。
• 该方法采用正样本对损失，最大化同一视频中时间偏移片段（如查询片段和键片段）的特征相似性，以促进时间持续性。
• 该方法在大规模数据集上进行训练：Kinetics-400（24万段视频）和三百万规模的Instagram视频集合，包含整理与未整理两种版本。
• 主干模型包括ResNeXt-101和ResNet-50，特征提取与微调通过标准线性探测和端到端微调在下游任务中完成。
• 该框架支持监督与无监督预训练，消融研究涵盖数据类型（剪辑与未剪辑）、增强策略和训练时长。

实验结果

研究问题

• RQ1 是否可在不修改架构的前提下，将简单的时间持续性目标泛化至多种无监督视频学习框架（MoCo、SimCLR、BYOL、SwAV）？
• RQ2 正样本片段之间的时间跨度（如1秒、30秒、60秒）如何影响视频表征学习的下游性能？
• RQ3 在大规模视频数据上进行无监督预训练是否能在下游动作识别与检测任务中优于或匹配监督预训练？
• RQ4 数据整理（整理与未整理）、数据类型（Kinetics与Instagram）以及训练时长对表征质量有何影响？
• RQ5 片段数量、对比损失设计和动量编码器使用等因素如何影响最终性能？

主要发现

• 所提出的时序持续性目标在无监督预训练下于UCF-101、HMDB51和Kinetics-400上均达到最先进性能，Kinetics-400上的Top-1准确率达到88.4%。
• 鼓励长跨度时间一致性（最长达60秒）显著提升了下游性能，表明即使无显式监督，长程时间建模也极为有效。
• 在多个案例中，无监督预训练表现优于监督预训练，尤其在Something-Something V2和AVA上，表明自监督学习可捕捉更丰富的时空不变性。
• 使用每段视频多个片段（ρ > 1）以及更长的时间跨度，在所有框架和数据集上均一致提升了表征质量。
• 该方法在不同主干网络（ResNeXt-101、ResNet-50）、数据类型（整理的Kinetics、未整理的Instagram）和增强策略间均表现出良好的泛化能力。
• 消融研究显示，动量编码器和对比损失设计可提升性能，而即使使用未整理数据仍能取得强结果，表明对数据分布偏移具有鲁棒性。