[论文解读] Enhancing Unsupervised Video Representation Learning by Decoupling the Scene and the Motion

Jinpeng Wang, Yuting Gao+6 more|arXiv (Cornell University)|Sep 12, 2020

Human Pose and Action Recognition参考文献 43被引用 18

一句话总结

本文提出了一种自监督视频表征学习方法——解耦场景与运动（DSM），通过空间和时间上的局部扰动构建正样本和负样本视频片段，从而增强时间敏感性。通过在潜在空间中拉近正样本与原始样本的距离、推远负样本的距离，DSM降低了场景偏差，在使用相同主干网络的情况下，相比SOTA方法，UCF101上的动作识别准确率提升了8.1%，HMDB51上提升了8.8%。

ABSTRACT

One significant factor we expect the video representation learning to capture, especially in contrast with the image representation learning, is the object motion. However, we found that in the current mainstream video datasets, some action categories are highly related with the scene where the action happens, making the model tend to degrade to a solution where only the scene information is encoded. For example, a trained model may predict a video as playing football simply because it sees the field, neglecting that the subject is dancing as a cheerleader on the field. This is against our original intention towards the video representation learning and may bring scene bias on different dataset that can not be ignored. In order to tackle this problem, we propose to decouple the scene and the motion (DSM) with two simple operations, so that the model attention towards the motion information is better paid. Specifically, we construct a positive clip and a negative clip for each video. Compared to the original video, the positive/negative is motion-untouched/broken but scene-broken/untouched by Spatial Local Disturbance and Temporal Local Disturbance. Our objective is to pull the positive closer while pushing the negative farther to the original clip in the latent space. In this way, the impact of the scene is weakened while the temporal sensitivity of the network is further enhanced. We conduct experiments on two tasks with various backbones and different pre-training datasets, and find that our method surpass the SOTA methods with a remarkable 8.1% and 8.8% improvement towards action recognition task on the UCF101 and HMDB51 datasets respectively using the same backbone.

研究动机与目标

• 为解决无监督视频表征学习中的场景偏差问题，即模型过度依赖静态场景线索而非运动模式。
• 通过增强时间敏感性并减少对场景上下文的依赖，提升模型泛化能力。
• 开发一种简单、高效且即插即用的方法，实现场景与运动的解耦，无需监督信号或复杂架构。
• 验证当表征空间中场景与运动被解耦时，运动信息能得到更有效的利用。

提出的方法

• 对于每段视频，该方法通过在原始视频上施加空间局部扰动来构建正样本片段，同时保留运动信息；通过施加时间局部扰动来构建负样本片段，同时保留场景内容。
• 利用正样本和负样本定义度量学习目标，使正样本在潜在空间中更接近原始样本，负样本更远离原始样本。
• 空间局部扰动通过局部扰动空间特征来破坏运动模式，同时保持场景内容不变；时间局部扰动则通过破坏时间连贯性来保持空间内容完整。
• 该方法采用对比学习并结合动量编码器来优化表征，确保预训练过程中特征学习的稳定性。
• 该方法兼容多种主干网络和预训练数据集，可扩展至下游任务如检索和检测。

实验结果

研究问题

• RQ1 通过显式解耦场景与运动信息，能否提升自监督视频表征学习的性能？
• RQ2 减少场景偏差是否能带来更好的泛化能力与更优的时间建模能力？
• RQ3 像空间和时间局部扰动这样的简单数据增强方法，能否有效引导模型关注运动而非静态背景？
• RQ4 与SOTA自监督方法相比，该方法在动作识别基准上的性能提升程度如何？

主要发现

• 所提出的DSM方法在使用相同I3D主干网络的情况下，相比SOTA自监督方法，UCF101上的Top-1准确率绝对提升了8.1%，HMDB51上提升了8.8%。
• 该方法平均提升了对高度依赖运动的动作类别之表征质量，尤其在运动关键但此前被忽视的类别中表现显著提升。
• 可视化结果表明，DSM模型聚焦于运动物体而非静态背景，证明其显著降低了场景偏差并提升了时空注意力能力。
• 模型对强运动片段保持高响应，对弱运动或无运动片段响应较低，证实其具备增强的时间敏感性。
• 对抗性样本实验表明，即使引入静态人体或帧作为噪声，DSM仍聚焦于运动区域，显示出对干扰项的鲁棒性。
• 消融实验表明，结合空间形变与运动扰动可获得最佳性能，UCF101和HMDB51上分别实现12.5%和16.0%的性能提升。