[论文解读] ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency

Deng Huang, Wenhao Wu+7 more|arXiv (Cornell University)|Jun 4, 2021

Human Pose and Action Recognition参考文献 42被引用 5

一句话总结

ASCNet 提出了一种自监督视频表征学习框架，通过强制不同播放速度下的外观一致性以及相同帧率视频间的速度一致性，消除了对负样本对的需求。通过联合优化这两项任务并结合基于外观的检索策略，ASCNet 实现了最先进性能，在 UCF-101 动作识别任务上达到 90.8% 的准确率，且无需任何监督预训练，超越了 ImageNet 监督模型。

ABSTRACT

We study self-supervised video representation learning, which is a challenging task due to 1) lack of labels for explicit supervision; 2) unstructured and noisy visual information. Existing methods mainly use contrastive loss with video clips as the instances and learn visual representation by discriminating instances from each other, but they need a careful treatment of negative pairs by either relying on large batch sizes, memory banks, extra modalities or customized mining strategies, which inevitably includes noisy data. In this paper, we observe that the consistency between positive samples is the key to learn robust video representation. Specifically, we propose two tasks to learn the appearance and speed consistency, respectively. The appearance consistency task aims to maximize the similarity between two clips of the same video with different playback speeds. The speed consistency task aims to maximize the similarity between two clips with the same playback speed but different appearance information. We show that optimizing the two tasks jointly consistently improves the performance on downstream tasks, e.g., action recognition and video retrieval. Remarkably, for action recognition on the UCF-101 dataset, we achieve 90.8\% accuracy without using any extra modalities or negative pairs for unsupervised pretraining, which outperforms the ImageNet supervised pretrained model. Codes and models will be available.

研究动机与目标

• 解决自监督学习中无标注数据或噪声负样本对带来的挑战。
• 通过利用视频数据中的内在一致性，减少对复杂数据挖掘或记忆库的依赖。
• 通过统一的掩码预训练框架，提升动作识别与视频检索的下游性能。
• 消除对比学习中低质量或同类别负样本的负面影响。

提出的方法

• 提出外观一致性感知（ACP）：最大化同一视频中不同播放速度片段之间的相似性。
• 提出速度一致性感知（SCP）：最大化相同播放速度但外观不同的不同视频片段之间的相似性。
• 采用基于外观的检索策略，为 SCP 选择高质量正样本，使其与 ACP 目标对齐。
• 使用 3D CNN 主干网络（如 ResNet-18、S3D-G）提取特征，并通过对比损失联合优化 ACP 与 SCP。
• 在检索任务中，对每段视频的 10 个片段进行平均池化，生成视频级表征。
• 通过完全依赖正样本一致性，避免显式负样本采样，从而提升训练鲁棒性。

Figure 1 : An illustration of appearance-speed consistency. Video clips (a) and (b) come from the same video, and the appearance is consistent with different playback speeds. On the other hand, by using the same frame interval, we can sample the clip (c) from different videos but with the same playb

实验结果

研究问题

• RQ1 不同播放速度下的外观一致性能否作为自监督视频表征学习的强预训练任务？
• RQ2 相同帧率视频间的速度一致性是否能在无需负样本对的情况下提升特征判别能力？
• RQ3 联合使用外观一致性和速度一致性，相较于现有对比方法，能否显著提升下游性能？
• RQ4 基于外观的检索策略能否有效弥合外观一致性与速度一致性任务之间的差距？
• RQ5 消除负样本对是否能带来优于依赖大批次负样本或记忆库方法的泛化性能？

主要发现

• ASCNet 仅使用 RGB 模态和自监督预训练，在 UCF-101 动作识别任务上达到 90.8% 的 top-1 准确率，超越了 ImageNet 监督模型（86.6%）。
• 在 HMDB-51 数据集上，ASCNet 使用 S3D-G 主干网络达到 60.5% 的 top-1 准确率，优于先前自监督方法如 Pace（52.6%）和 RSPNet（59.9%）。
• 使用 3D ResNet-18 主干网络时，ASCNet 在 UCF-101 上达到 80.5% 的准确率，显著优于 3D-RotNet（62.9%）、ST-Puzzle（65.8%）和 DPC（68.2%）。
• 在视频检索任务中，ASCNet 在 UCF-101 上达到 45.9% 的 top-1 准确率，远超次佳方法，表明其具备高度判别性的特征学习能力。
• 性能在预训练 300 个周期后趋于饱和，且在 200 个周期时已达到 80.52% 的强性能。
• 定性结果表明，模型能够成功检索语义和视觉上相似的视频，证实其学习到了有意义的外观与运动特征。

Figure 2 : Illustration of the proposed framework. Given a set of video clips with different playback speed ( i.e. , $1\times$ and $2\times$ ), we use a video encoder $f(\cdot;\theta)$ to map the clips into appearance and speed embedding space. For the ACP task, we pull the appearance features from