[论文解读] Self-supervised Video Representation Learning with Motion-Aware Masked Autoencoders

Haosen Yang, Huang Deng+6 more|arXiv (Cornell University)|Oct 9, 2022

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

该论文提出 MotionMAE，一种自监督视频表征学习方法，通过联合重建相邻帧之间的时间差所对应的被掩码视频帧块及其对应的运动结构，增强掩码自编码器。通过建模静态外观与动态运动，MotionMAE 实现了最先进性能，在特定领域预训练设置下，于 Something-Something V2 上超越先前方法 1.2%，于 UCF101 上超越 3.2%，在视频物体分割任务上提升超过 3%。

ABSTRACT

Masked autoencoders (MAEs) have emerged recently as art self-supervised spatiotemporal representation learners. Inheriting from the image counterparts, however, existing video MAEs still focus largely on static appearance learning whilst are limited in learning dynamic temporal information hence less effective for video downstream tasks. To resolve this drawback, in this work we present a motion-aware variant -- MotionMAE. Apart from learning to reconstruct individual masked patches of video frames, our model is designed to additionally predict the corresponding motion structure information over time. This motion information is available at the temporal difference of nearby frames. As a result, our model can extract effectively both static appearance and dynamic motion spontaneously, leading to superior spatiotemporal representation learning capability. Extensive experiments show that our MotionMAE outperforms significantly both supervised learning baseline and state-of-the-art MAE alternatives, under both domain-specific and domain-generic pretraining-then-finetuning settings. In particular, when using ViT-B as the backbone our MotionMAE surpasses the prior art model by a margin of 1.2% on Something-Something V2 and 3.2% on UCF101 in domain-specific pretraining setting. Encouragingly, it also surpasses the competing MAEs by a large margin of over 3% on the challenging video object segmentation task. The code is available at https://github.com/happy-hsy/MotionMAE.

研究动机与目标

• 为解决现有掩码自编码器在视频表征学习中的局限性，即过度关注静态外观而未能充分利用时间动态特性。
• 通过显式建模运动结构作为额外重建目标，提升时空表征学习能力。
• 提升下游视频理解任务的性能，特别是对运动敏感的任务，如动作识别与视频物体分割。
• 在特定领域与通用领域预训练设置下，验证运动感知重建的有效性。

提出的方法

• MotionMAE 采用非对称的 Transformer 架构，编码器仅处理可见块，解码器则重建所有块，包括被掩码的块。
• 模型被训练以同时重建被掩码的单个帧块（用于外观）和相邻帧之间的时间差（用于运动结构）。
• 运动结构通过两帧之间的帧差计算得出，提供一种自然且内在的运动动态表示。
• 重建损失结合了帧与运动目标，模型通过多任务目标端到端训练。
• 解码器设计具备足够的宽度与深度，以有效重建空间与时间信息，消融实验指导了最优容量的选择。
• 方法采用标准的数据增强与掩码策略，训练期间每帧掩码 90% 的块。

实验结果

研究问题

• RQ1 联合重建帧外观与运动结构是否能提升自监督视频表征学习？
• RQ2 通过时间差建模运动与仅依赖帧重建的掩码自编码器相比，效果如何？
• RQ3 引入运动建模是否能提升下游视频任务的泛化能力，特别是对运动敏感的任务？
• RQ4 在运动感知 MAE 中，最优的重建目标、损失函数与解码器架构设计为何？

主要发现

• 在特定领域预训练设置下，MotionMAE 在 Something-Something V2 上达到 75.5% 的 top-1 准确率，超越先前最先进方法 1.2%。
• 在 UCF101 上，MotionMAE 达到 94.0% 的准确率，较最强的对比 MAE 模型提升 3.2%。
• 在具有挑战性的 DAVIS2017 视频物体分割基准上，MotionMAE 在平均交并比指标上超越对比 MAE 模型 3% 以上。
• 消融实验确认，结合帧与运动重建可获得最佳性能，且最精细的运动（相邻帧差）最为有效。
• MSE 损失函数表现最佳，且解码器需具备足够的宽度（384）与深度（4）才能实现最优性能。
• 可视化结果表明，MotionMAE 在新样本上泛化良好，即使在 95% 掩码率下，仍能保持高质量的外观与运动重建。