[论文解读] Masked Autoencoders As Spatiotemporal Learners

Christoph Feichtenhofer, Haoqi Fan+2 more|arXiv (Cornell University)|May 18, 2022

Generative Adversarial Networks and Image Synthesis被引用 243

一句话总结

本论文通过对时空补丁进行掩蔽并重建像素，将 Masked Autoencoders 扩展到时空视频数据，获得了最少领域偏差的强自监督表示并实现显著的加速。

ABSTRACT

This paper studies a conceptually simple extension of Masked Autoencoders (MAE) to spatiotemporal representation learning from videos. We randomly mask out spacetime patches in videos and learn an autoencoder to reconstruct them in pixels. Interestingly, we show that our MAE method can learn strong representations with almost no inductive bias on spacetime (only except for patch and positional embeddings), and spacetime-agnostic random masking performs the best. We observe that the optimal masking ratio is as high as 90% (vs. 75% on images), supporting the hypothesis that this ratio is related to information redundancy of the data. A high masking ratio leads to a large speedup, e.g., > 4x in wall-clock time or even more. We report competitive results on several challenging video datasets using vanilla Vision Transformers. We observe that MAE can outperform supervised pre-training by large margins. We further report encouraging results of training on real-world, uncurated Instagram data. Our study suggests that the general framework of masked autoencoding (BERT, MAE, etc.) can be a unified methodology for representation learning with minimal domain knowledge.

研究动机与目标

• 研究 MAE 是否能在最小的归纳偏置下学习有效的时空视频表示。
• 考察高掩蔽比对学习效率和视频任务性能的影响。
• 评估 MAE 预训练与有监督预训练的比较，并探索对真实世界未经过筛选的数据的可扩展性。

提出的方法

• 通过掩蔽随机的时空补丁并重建像素，将 MAE 扩展到视频。
• 使用原生 Vision Transformers 作为编码器/解码器，将补丁嵌入和位置信息嵌入作为时空感知组件。
• 采用时空不可知的随机掩蔽以最大化信息利用并实现非常高的掩蔽比。
• 在被掩蔽区域的预测值与原始像素目标之间使用均方误差进行训练。
• 通过对下游视频识别数据集（Kinetics-400、AVA、SSv2）进行微调进行端到端评估。
• 探讨数据预处理、掩蔽采样策略和解码器容量以研究效率与性能之间的权衡。

实验结果

研究问题

• RQ1 在视频上进行的 MAE 预训练是否相较于从头训练能提升下游视频识别性能？
• RQ2 对于视频 MAE，哪种掩蔽比与掩蔽策略在准确性与计算开销之间能取得最佳权衡？
• RQ3 在相同或更大规模的数据集上，视频数据的 MAE 预训练与有监督预训练相比如何？
• RQ4 在真实世界未经过筛选的视频数据上进行的 MAE 预训练能否有效迁移到标准视频基准？
• RQ5 结果对解码器大小和重构目标选择的敏感性如何？

主要发现

• MAE 预训练在多个 ViT 尺寸上显著提升视频识别准确性（例如相对于从头训练的巨大提升）。
• 视频 MAE 的最佳掩蔽比约为 90%（经过更长训练可达到 95%），实现显著的编码器时间/内存减少（<1/10）和总体墙钟速度提升（约 4.1 倍），尽管数据加载成为瓶颈。
• 时空不可知掩蔽优于结构感知策略，表明最小化的时空归纳偏置也能从数据中学习到有效表示。
• 在 Kinetics（及其他视频数据集）上的 MAE 预训练可以超过有监督预训练，甚至在若干下游任务（AVA、SSv2）上超过基于 IN1K 的 MAE 预训练。
• 真实世界的 Instagram 视频预训练（未筛选）在大规模时提供的迁移结果竞争力或优于经过筛选的数据集，显示出大规模自监督视频学习的实际潜力。