[论文解读] DropMAE: Learning Representations via Masked Autoencoders with Spatial-Attention Dropout for Temporal Matching Tasks

Qiangqiang Wu, Tianyu Yang+4 more|arXiv (Cornell University)|Apr 2, 2023

Video Surveillance and Tracking Methods被引用 6

一句话总结

DropMAE 提出一种带有自适应空间注意力丢弃的掩码自编码器，以改进视频表示预训练中视觉目标跟踪（VOT）和视频目标分割（VOS）任务的时序对应学习。通过在重建过程中干扰空间线索的共适应性，它增强了时序特征学习，在9项基准测试中的8项上达到最先进性能，且预训练速度比基于ImageNet的MAE快2倍。

ABSTRACT

This paper studies masked autoencoder (MAE) video pre-training for various temporal matching-based downstream tasks, i.e., object-level tracking tasks including video object tracking (VOT) and video object segmentation (VOS), self-supervised visual correspondence learning, dense tracking tasks including optical flow estimation and long-term point tracking, and 3D point cloud tracking. Specifically, our work explores to provide a general representation to boost the temporal matching ability in various downstream tracking tasks. To achieve this, we firstly find that a simple extension of MAE, which randomly masks out frame patches in videos and reconstruct the frame pixels, heavily relies on spatial cues while ignoring temporal relations for frame reconstruction, thus leading to sub-optimal temporal matching representations. To alleviate this, we propose DropMAE, which adaptively performs spatial-attention dropout in the frame reconstruction to facilitate temporal correspondence learning in videos. We obtain several important findings with DropMAE: 1) DropMAE is a strong and efficient temporal matching learner, which achieves better fine-tuning results on matching-based tasks than the ImageNet-based MAE with 2x faster pre-training speed. 2) DropMAE is effective for different tracking tasks, i.e., object-level matching tasks including VOT and VOS, dense tracking tasks including optical flow estimation and tracking any point (TAP), and even 3D tracking in the different modality of point cloud data. Since none exists, we build ViT-based trackers for different downstream tracking tasks, and our pre-trained DropMAE model can be directly loaded in these ViT-based trackers for fine-tuning without further modifications. Experiments on 6 downstream tracking tasks demonstrate the effectiveness of DropMAE as a general pre-trained representation for diverse tracking tasks.

研究动机与目标

• 解决标准掩码自编码器（MAE）在视频预训练中用于匹配类任务（如VOT和VOS）时，时序表征学习不充分的问题。
• 通过减轻帧内标记之间的共适应性，减少重建过程中对空间线索的依赖。
• 通过在重建过程中应用自适应空间注意力丢弃，增强时序对应学习。
• 探究预训练视频数据中运动多样性与场景多样性对下游跟踪和分割任务性能的影响。
• 开发一种即插即用的预训练模型，无需架构修改即可提升基于ViT的跟踪器性能。

提出的方法

• 提出DropMAE，一种在帧重建过程中应用自适应空间注意力丢弃（ASAD）的掩码自编码器，以干扰空间共适应性。
• ASAD在重建过程中选择性地丢弃同一帧内空间邻近补丁之间的注意力权重，从而鼓励依赖帧间时序线索。
• 采用两阶段预训练流程：首先使用基于ImageNet的MAE进行初始化，然后在Kinetics-400（K400）上进行微调以学习时序对应关系。
• 使用标准视觉Transformer（ViT）编码器和解码器，且仅在预训练阶段的解码器多头注意力层中应用丢弃。
• 采用最小化预测掩码补丁与真实掩码补丁之间像素级L2损失的重建目标。
• 引入一种变体RandDrop-MAE，用于消融随机丢弃的影响，结果表明其性能劣于自适应注意力丢弃。

实验结果

研究问题

• RQ1 在掩码自编码器中应用自适应空间注意力丢弃，能否提升视频匹配任务的时序对应学习？
• RQ2 在重建过程中减少对空间线索的依赖，是否能提升VOT和VOS基准测试的性能？
• RQ3 预训练数据中的运动多样性与场景多样性相比，对下游跟踪和分割性能的影响如何？
• RQ4 DropMAE能否作为即插即用的预训练主干网络，用于现有基于ViT的跟踪器而无需架构修改？
• RQ5 DropMAE的性能提升是源于更好的时序建模，还是更优的特征泛化能力？

主要发现

• DropMAE在9项视频跟踪与分割基准测试中的8项上达到最先进性能，包括GOT-10k上75.9%的AO和DAVIS-17上92.1%的J&F。
• DropMAE的预训练速度比基于ImageNet的MAE快2倍，同时在匹配类任务上实现了更优的微调性能。
• 预训练视频中的运动多样性比场景多样性对提升VOT和VOS性能更为关键。
• 使用基于ImageNet的MAE作为初始化可提升DropMAE性能，表明多样物体类别带来的益处。
• 使用DropMAE的跟踪器DropSeg在DAVIS-17和YouTube-VOS上取得了具有竞争力的结果，且无需在线记忆机制，优于包含此类组件的方法。
• 消融实验表明，随机丢弃（RandDrop-MAE）性能劣于ASAD，证实了自适应、上下文感知注意力丢弃的重要性。