[论文解读] It Takes Two: Masked Appearance-Motion Modeling for Self-supervised Video Transformer Pre-training

Yuxin Song, Min Yang+4 more|arXiv (Cornell University)|Oct 11, 2022

Face recognition and analysis被引用 5

一句话总结

本文提出 MAM2，一种自监督视频表征学习框架，通过在视频 Transformer 中使用解耦解码器，联合掩码并预测外观和运动特征。通过利用 VQGAN 代码表示外观、RGB 差分表示运动，MAM2 在 Kinetics-400（82.3%）、Something-Something V2（71.3%）、UCF101（91.5%）和 HMDB51（62.5%）上实现了最先进性能，且预训练周期数比 VideoMAE 少最多 50%。

ABSTRACT

Self-supervised video transformer pre-training has recently benefited from the mask-and-predict pipeline. They have demonstrated outstanding effectiveness on downstream video tasks and superior data efficiency on small datasets. However, temporal relation is not fully exploited by these methods. In this work, we explicitly investigate motion cues in videos as extra prediction target and propose our Masked Appearance-Motion Modeling (MAM2) framework. Specifically, we design an encoder-regressor-decoder pipeline for this task. The regressor separates feature encoding and pretext tasks completion, such that the feature extraction process is completed adequately by the encoder. In order to guide the encoder to fully excavate spatial-temporal features, two separate decoders are used for two pretext tasks of disentangled appearance and motion prediction. We explore various motion prediction targets and figure out RGB-difference is simple yet effective. As for appearance prediction, VQGAN codes are leveraged as prediction target. With our pre-training pipeline, convergence can be remarkably speed up, e.g., we only require half of epochs than state-of-the-art VideoMAE (400 v.s. 800) to achieve the competitive performance. Extensive experimental results prove that our method learns generalized video representations. Notably, our MAM2 with ViT-B achieves 82.3% on Kinects-400, 71.3% on Something-Something V2, 91.5% on UCF101, and 62.5% on HMDB51.

研究动机与目标

• 解决现有掩码视频建模方法中对时间运动线索利用不足的问题。
• 提升自监督视频预训练中的收敛速度与表征质量。
• 将外观与运动预测任务解耦，以实现更有效的时空特征学习。
• 在保持或提升下游性能的前提下，减少预训练周期数。
• 探究 RGB 差分与 VQGAN 代码作为外观与运动重建目标的有效性。

提出的方法

• 设计了三阶段编码器-回归器-解码器流程，其中回归器将特征编码与掩码任务预测解耦。
• 使用两个独立解码器：一个用于重建 VQGAN 编码的视觉 token（外观），另一个用于预测掩码视频管中 RGB 差分（运动）。
• 回归器将可见管嵌入投影以预测掩码管的表示，实现时空无关的特征学习。
• 由于其简洁性与在捕捉运动动态方面的有效性，选择 RGB 差分作为运动目标。
• 框架采用基于 ViT 的编码器，结合掩码视频块重建，预训练数据集为 SSv2、UCF101 和 HMDB51。
• 预训练采用高掩码率，且在推理时动态应用分词器生成 VQGAN 代码用于外观重建。

实验结果

研究问题

• RQ1 显式建模运动线索是否能提升掩码视频建模中的自监督视频表征学习？
• RQ2 将外观与运动预测任务解耦是否能带来更快收敛与更优下游性能？
• RQ3 在掩码视频建模设置中，哪种运动表征（如光流、RGB 差分、时序顺序）最有效且高效？
• RQ4 VQGAN 代码能否作为视频预训练中外观重建的鲁棒且语义有意义的目标？
• RQ5 与 VideoMAE 等最先进方法相比，MAM2 在保持或提升性能的前提下，能在多大程度上减少预训练周期数？

主要发现

• 在 Kinetics-400 上，MAM2 达到 82.3% 的 top-1 准确率，比 VideoMAE 高出 +1.0%，且仅用 400 个预训练周期（vs. 800）便实现该性能。
• 在以时序动作为主的 Something-Something V2 数据集上，MAM2 达到 71.3% 准确率，超过 VideoMAE 的 70.6%，且预训练周期数减半。
• 在 UCF101 和 HMDB51 上，MAM2 分别取得 91.5% 和 62.5% 的准确率，分别优于 VideoMAE 0.7% 和 1.4%，且预训练周期数分别减少 2.7 倍与 3 倍。
• 当使用 ViT-L 时，MAM2 在 800 个预训练周期下优于 ST-MAE 与 VideoMAE，并在仅 600 个周期下即达到它们的性能水平。
• 采用解耦解码器与回归器可实现更快收敛，显著降低对长时间预训练的依赖。
• RGB 差分被证明是简单但有效的运动预测目标，在本设置中优于更复杂的运动表征（如光流）。