[论文解读] MGMAE: Motion Guided Masking for Video Masked Autoencoding

Bingkun Huang, Zhiyu Zhao+3 more|arXiv (Cornell University)|Aug 21, 2023

Advanced Vision and ImagingComputer Science被引用 3

一句话总结

MGMAE 提出了一种用于视频掩码自编码的运动引导掩码策略，该策略利用光流生成时间上一致的掩码体积，减少信息泄露并提高重建难度。这使得自监督视频表征学习性能得到提升，在 Something-Something V2 上达到 SOTA 性能（72.3% 准确率），并在更长的预训练设置下在 Kinetics-400 上实现一致的性能增益。

ABSTRACT

Masked autoencoding has shown excellent performance on self-supervised video representation learning. Temporal redundancy has led to a high masking ratio and customized masking strategy in VideoMAE. In this paper, we aim to further improve the performance of video masked autoencoding by introducing a motion guided masking strategy. Our key insight is that motion is a general and unique prior in video, which should be taken into account during masked pre-training. Our motion guided masking explicitly incorporates motion information to build temporal consistent masking volume. Based on this masking volume, we can track the unmasked tokens in time and sample a set of temporal consistent cubes from videos. These temporal aligned unmasked tokens will further relieve the information leakage issue in time and encourage the MGMAE to learn more useful structure information. We implement our MGMAE with an online efficient optical flow estimator and backward masking map warping strategy. We perform experiments on the datasets of Something-Something V2 and Kinetics-400, demonstrating the superior performance of our MGMAE to the original VideoMAE. In addition, we provide the visualization analysis to illustrate that our MGMAE can sample temporal consistent cubes in a motion-adaptive manner for more effective video pre-training.

研究动机与目标

• 为解决由于帧间掩码不一致导致的视频掩码自编码中的信息泄露问题。
• 通过在掩码过程中引入运动作为先验，提升自监督视频表征学习性能。
• 设计一种动态的、与运动自适应的掩码策略，以提高重建难度并促进对结构化视频特征的学习。
• 通过更优的掩码设计降低过拟合风险，从而实现更长且更有效的预训练。

提出的方法

• 引入一个在线、轻量级的光流估计器（RAFT），用于捕捉相邻帧之间的运动，以指导掩码过程。
• 在基础帧上生成初始随机掩码图，并利用估计的光流将其正向和反向传播，构建时间上一致的掩码体积。
• 基于运动对齐的掩码体积，按每帧选择 top-k token，以采样用于自编码的可见 token。
• 将运动引导掩码整合到 VideoMAE 框架中，通过反向传播保持空间与时间的一致性。
• 使用生成的掩码 token 进行标准的掩码自编码训练，模型主干为视觉 Transformer。
• 利用更高的重建难度，促使模型学习更鲁棒且泛化能力更强的视频表征。

(a) original video clip

实验结果

研究问题

• RQ1 运动信息能否有效用于提升视频掩码自编码中的时间一致性？
• RQ2 与随机掩码或管状掩码相比，运动引导掩码是否能减少帧间的信息泄露？
• RQ3 与运动自适应的掩码策略是否能带来更好的自监督视频表征学习效果？
• RQ4 运动引导掩码对预训练稳定性及更长训练周期的可行性有何影响？
• RQ5 MGMAE 的性能增益是否在以动作为中心和以场景为中心的视频基准上表现不同？

主要发现

• 在 2400 个周期的预训练下，MGMAE 在 Something-Something V2 上达到 72.3% 的 top-1 准确率，比 VideoMAE 提高 1.5%。
• 在 Kinetics-400 上，MGMAE 经过 1600 个周期的训练达到 81.8% 的准确率，略高于 VideoMAE 的 81.5%。
• MGMAE 的预训练损失始终比 VideoMAE 高 0.05，表明其重建任务更具挑战性。
• 在 SSV2 上，MGMAE 在 800 个周期时保持 1.4% 的性能差距，在 2400 个周期时达到 1.5% 的差距，表明其性能增益具有持续性。
• 可视化结果表明，MGMAE 的掩码图能随物体运动自适应调整，形成更复杂且动态的重建挑战。
• 运动引导策略降低了过拟合风险，使得更长周期的预训练成为可能，并带来了下游任务性能的提升。

(b) tube masking