[论文解读] MoDist: Motion Distillation for Self-supervised Video Representation Learning.

Fanyi Xiao, Joseph Tighe+1 more|arXiv (Cornell University)|Jun 17, 2021

Human Pose and Action Recognition参考文献 85被引用 11

一句话总结

MoDist 提出了一种自监督视频表征学习方法，通过在运动路径（Motion pathway）与视觉路径（Visual pathway）之间引入跨模态学习目标，显式蒸馏运动信息，从而增强对前景运动的关注。该方法在动作识别与检测基准上取得了最先进性能，优于或匹配了监督基线方法。

ABSTRACT

We present MoDist as a novel method to explicitly distill motion information into self-supervised video representations. Compared to previous video representation learning methods that mostly focus on learning motion cues implicitly from RGB inputs, we show that the representation learned with our MoDist method focus more on foreground motion regions and thus generalizes better to downstream tasks. To achieve this, MoDist enriches standard contrastive learning objectives for RGB video clips with a cross-modal learning objective between a Motion pathway and a Visual pathway. We evaluate MoDist on several datasets for both action recognition (UCF101/HMDB51/SSv2) as well as action detection (AVA), and demonstrate state-of-the-art self-supervised performance on all datasets. Furthermore, we show that MoDist representation can be as effective as (in some cases even better than) representations learned with full supervision. Given its simplicity, we hope MoDist could serve as a strong baseline for future research in self-supervised video representation learning.

研究动机与目标

• 通过显式建模运动信息，改进自监督视频表征学习，而此前的方法通常从 RGB 输入中隐式学习运动信息。
• 通过引入专用的运动路径，解决现有对比学习方法在关注前景运动区域方面的局限性。
• 开发一种简单而有效的框架，提升对动作识别与动作检测等下游任务的泛化能力。
• 证明自监督表征可以匹配甚至超越完全监督学习的表征性能。
• 确立 MoDist 作为未来自监督视频表征学习研究中一种强大且实用的基线方法。

提出的方法

• MoDist 提出一种双路径架构，其中视觉路径处理 RGB 视频片段，运动路径处理光流或运动特征。
• 在视觉路径上应用对比学习目标，以从 RGB 输入中学习通用视频表征。
• 在运动路径与视觉路径之间引入跨模态学习目标，以对齐两者的表征，显式蒸馏运动信息。
• 联合优化 RGB 片段上的对比损失，以及运动与视觉特征之间的跨模态对齐损失。
• 运动路径被训练以捕捉前景运动线索，随后通过跨模态目标将这些线索蒸馏到视觉表征中。
• 该框架端到端可训练，除对比学习外无需额外监督。

实验结果

研究问题

• RQ1 与隐式运动学习相比，显式运动蒸馏是否能提升自监督视频表征的质量与泛化能力？
• RQ2 在运动与视觉特征之间引入跨模态学习目标，是否能提升学习表征对前景运动区域的关注？
• RQ3 MoDist 在标准视频基准上相对于最先进自监督与完全监督方法的表现如何？
• RQ4 使用 MoDist 训练的自监督表征是否能在下游任务中匹配或超越完全监督学习的表征？
• RQ5 MoDist 是否是未来自监督视频表征学习研究中一种可行且有效的基线？

主要发现

• 在自监督训练下，MoDist 在 UCF101、HMDB51 和 Something-Something-V2 的动作识别任务中均取得了最先进性能。
• 在 AVA 数据集上的动作检测任务中，MoDist 表现具有竞争力，证明其在密集预测任务中具备强大泛化能力。
• MoDist 学习到的表征比标准对比学习的表征泛化能力更强，尤其在捕捉前景运动方面表现更优。
• 在某些情况下，MoDist 的自监督表征在下游任务中甚至优于完全监督学习的表征。
• 消融实验验证了跨模态学习目标的显著性能提升，证实了显式运动蒸馏的有效性。
• 该方法简单而高效，使其成为未来自监督视频表征学习研究中新基线的有力候选。