[论文解读] Motion-Focused Contrastive Learning of Video Representations

Rui Li, Yiheng Zhang+4 more|arXiv (Cornell University)|Jan 11, 2022

Human Pose and Action Recognition参考文献 23被引用 4

一句话总结

本文提出运动聚焦对比学习（MCL），一种自监督视频表征学习方法，利用光流引导数据增强与特征学习。通过基于时空运动图采样tubelets，并将卷积层梯度与运动图对齐，MCL在线性评估协议下实现最先进性能，在UCF101（81.91% top-1准确率）和Kinetics-400（66.62% top-1准确率）上超越ImageNet监督预训练。

ABSTRACT

Motion, as the most distinct phenomenon in a video to involve the changes over time, has been unique and critical to the development of video representation learning. In this paper, we ask the question: how important is the motion particularly for self-supervised video representation learning. To this end, we compose a duet of exploiting the motion for data augmentation and feature learning in the regime of contrastive learning. Specifically, we present a Motion-focused Contrastive Learning (MCL) method that regards such duet as the foundation. On one hand, MCL capitalizes on optical flow of each frame in a video to temporally and spatially sample the tubelets (i.e., sequences of associated frame patches across time) as data augmentations. On the other hand, MCL further aligns gradient maps of the convolutional layers to optical flow maps from spatial, temporal and spatio-temporal perspectives, in order to ground motion information in feature learning. Extensive experiments conducted on R(2+1)D backbone demonstrate the effectiveness of our MCL. On UCF101, the linear classifier trained on the representations learnt by MCL achieves 81.91% top-1 accuracy, outperforming ImageNet supervised pre-training by 6.78%. On Kinetics-400, MCL achieves 66.62% top-1 accuracy under the linear protocol. Code is available at https://github.com/YihengZhang-CV/MCL-Motion-Focused-Contrastive-Learning.

研究动机与目标

• 探究运动在自监督视频表征学习中的重要性。
• 通过显式地将运动信息融入数据增强与特征优化，改进对比学习。
• 开发一种基于运动动态采样有意义时空tubelets的方法，以提升对比学习效果。
• 将卷积层梯度图与光流图对齐，使学习到的特征与运动保持一致。
• 证明运动聚焦的自监督预训练可在下游视频基准上超越ImageNet监督预训练。

提出的方法

• 使用无监督TV-L1算法为每帧提取密集光流，生成运动图。
• 通过堆叠连续帧级运动图，为每个视频片段构建时空运动图（ST-motion）。
• 对ST-motion进行3D平均池化，计算片段级运动，筛选高运动片段作为时间增强的候选。
• 对选定片段的ST-motion图进行时间池化，估计空间运动（S-motion），并定位时间上一致的空间块作为tubelets。
• 对于特征学习，为每个tubelet提取ST-motion图，并通过空间或时间池化生成T-motion或S-motion图。
• 最小化卷积层梯度图与运动图（S-motion、T-motion、ST-motion）之间的均方误差，以实现特征与运动动态的对齐。

实验结果

研究问题

• RQ1 运动对自监督视频表征学习有多关键？
• RQ2 运动引导的数据增强能否提升视频表征学习中的对比学习性能？
• RQ3 将特征梯度与运动图对齐是否能增强学习表征的判别能力？
• RQ4 运动聚焦的自监督预训练是否能在视频基准上超越ImageNet监督预训练？
• RQ5 通过MCL学习到的表征在下游视频理解任务中的可迁移性如何？

主要发现

• 在UCF101上，MCL在线性评估协议下达到81.91% top-1准确率，较ImageNet监督预训练高出6.78个百分点。
• 在Kinetics-400上，MCL在相同线性协议下达到66.62% top-1准确率，展现出在大规模数据集上的强大泛化能力。
• 在UCF101和HMDB51上微调时，使用R(2+1)D主干网络的MCL预训练分别取得90.40%和61.30%的准确率，超越此前SOTA方法（包括SeCo和DynamoNet）。
• 在视频检索任务中，使用R(2+1)D主干网络的MCL在UCF101上达到80.4% Recall@1，在HMDB51上达到68.9%，优于使用双流输入的CoCLR。
• Grad-CAM可视化显示，MCL的注意力图与S-motion图的对齐程度优于SeCo，表明其对运动相关区域的定位更准确。
• 该方法展现出强大的可迁移性，在多个下游任务（包括动作识别与视频检索）中均取得最先进结果。