[论文解读] SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning

Ting Yao, Yiheng Zhang+3 more|arXiv (Cornell University)|Aug 3, 2020

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

SeCo 提出了一种新颖的无监督表示学习框架，用于视频学习，通过对比学习框架内嵌入三种类型的序列监督——空间、时空和序列——利用实例判别和时序顺序验证任务。该方法在动作识别任务中达到最先进性能，相较于 ImageNet 监督预训练，在 UCF101 和 HMDB51 上分别提升 2.96% 和 6.47%。

ABSTRACT

A steady momentum of innovations and breakthroughs has convincingly pushed the limits of unsupervised image representation learning. Compared to static 2D images, video has one more dimension (time). The inherent supervision existing in such sequential structure offers a fertile ground for building unsupervised learning models. In this paper, we compose a trilogy of exploring the basic and generic supervision in the sequence from spatial, spatiotemporal and sequential perspectives. We materialize the supervisory signals through determining whether a pair of samples is from one frame or from one video, and whether a triplet of samples is in the correct temporal order. We uniquely regard the signals as the foundation in contrastive learning and derive a particular form named Sequence Contrastive Learning (SeCo). SeCo shows superior results under the linear protocol on action recognition (Kinetics), untrimmed activity recognition (ActivityNet) and object tracking (OTB-100). More remarkably, SeCo demonstrates considerable improvements over recent unsupervised pre-training techniques, and leads the accuracy by 2.96% and 6.47% against fully-supervised ImageNet pre-training in action recognition task on UCF101 and HMDB51, respectively. Source code is available at \url{https://github.com/YihengZhang-CV/SeCo-Sequence-Contrastive-Learning}.

研究动机与目标

• 通过利用视频的内在结构实现无监督表示学习，以应对人工标注视频数据的高成本和稀缺性。
• 系统性地探索并利用视频序列中的三种监督类型：帧内（空间）、跨帧（时空）和时序顺序（序列）。
• 开发一个统一的对比学习框架，将这些监督信号整合到单一端到端训练流程中。
• 证明使用序列监督进行无监督预训练可在下游视频任务中超越完全监督的 ImageNet 预训练。

提出的方法

• 设计三种代理任务：帧内实例判别（区分同一帧内的图像块）、帧间实例判别（区分同一视频中的图像块）和时序顺序验证（验证帧序列顺序是否正确）。
• 对锚定帧应用数据增强，以在帧内和帧间任务中生成查询和键视图。
• 使用内存库存储跨小批量的键特征，以提升帧间对比学习效果，受 MoCo 启发。
• 对实例判别任务使用 InfoNCE 损失，对时序顺序验证任务使用可学习分类器与交叉熵损失。
• 通过共享的 ResNet18 主干网络端到端联合训练所有三项任务。
• 利用对比学习原则，最大化正样本对（同一帧或同一视频）之间的相似性，同时最小化负样本对之间的相似性。

实验结果

研究问题

• RQ1 视频序列中的内在时空结构能否作为无监督表示学习的有效监督信号？
• RQ2 不同类型的序列监督——空间、时空和序列——如何分别促进通用视频表示的学习？
• RQ3 统一的对比学习框架能否有效结合多种形式的序列监督以提升性能？
• RQ4 使用序列监督进行无监督预训练是否能在下游视频识别任务中超越完全监督的 ImageNet 预训练？

主要发现

• 在线性评估协议下，SeCo 在 UCF101 上达到 50.81% 的 top-1 准确率，优于所有先前的无监督方法，创下新的 SOTA 记录。
• 在 HMDB51 上，SeCo 在预训练 + 微调协议下达到 55.55% 的 top-1 准确率，较最佳竞争方法 VIE-Full 提升 7.95 个百分点。
• 在微调协议下，SeCo 相较于 ImageNet 监督预训练，在 UCF101 和 HMDB51 上分别提升 2.96% 和 6.47% 的准确率。
• SeCo 在 UCF101 和 HMDB51 上均优于监督的 ImageNet 预训练，证明了序列监督在视频表示学习中的优越性。
• 消融实验证实，三种代理任务——空间、时空和序列——均对最终性能有显著贡献。
• 即使仅使用 2D ResNet18 主干网络，SeCo 仍表现强劲，超越了更复杂的 3D 架构（如 VIE-Full 所采用的 3D ResNet18 和 SlowFast 网络）。