[论文解读] Masked Autoencoders Are Scalable Vision Learners

Kaiming He, Xinlei Chen+4 more|arXiv (Cornell University)|Nov 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 59被引用 190

一句话总结

本文提出了 Masked Autoencoders (MAE)，通过对图像补丁的大量遮蔽并重建缺失像素来对视觉 Transformer 进行预训练，采用非对称的编码器-解码器设计以实现可扩展的自监督学习，在 ImageNet-1K 的监督预训练之上具有更好的表现，并且能较好地迁移到下游任务。

ABSTRACT

This paper shows that masked autoencoders (MAE) are scalable self-supervised learners for computer vision. Our MAE approach is simple: we mask random patches of the input image and reconstruct the missing pixels. It is based on two core designs. First, we develop an asymmetric encoder-decoder architecture, with an encoder that operates only on the visible subset of patches (without mask tokens), along with a lightweight decoder that reconstructs the original image from the latent representation and mask tokens. Second, we find that masking a high proportion of the input image, e.g., 75%, yields a nontrivial and meaningful self-supervisory task. Coupling these two designs enables us to train large models efficiently and effectively: we accelerate training (by 3x or more) and improve accuracy. Our scalable approach allows for learning high-capacity models that generalize well: e.g., a vanilla ViT-Huge model achieves the best accuracy (87.8%) among methods that use only ImageNet-1K data. Transfer performance in downstream tasks outperforms supervised pre-training and shows promising scaling behavior.

研究动机与目标

• 为可扩展的视觉自监督预训练提供可扩展性，以便在不依赖有标签数据的情况下扩展到大型模型。
• 开发一个非对称的 MAE 架构，其中编码器仅处理可见补丁，轻量解码器重建完整图像。
• 证明高掩码比（约 75%）能产生有意义的自监督，并实现更快、内存效率更高的预训练。
• 展示 MAE 预训练在检测、分割和分类任务上的迁移性能优于有监督预训练。

提出的方法

• 从输入图像中随机裁切补丁并分成不重叠的补丁，遮蔽大部分（如 75%）。
• 使用仅处理可见补丁的编码器（无掩码令牌）来形成潜在表示。
• 附加一个轻量解码器，接收编码后的可见补丁和掩码令牌以像素级重建原始图像。
• 用重建损失（均方误差）进行训练，仅对被遮蔽的补丁计算，必要时对像素值进行逐补丁归一化。
• 对所有令牌应用位置嵌入；解码器较小且与编码器分离以降低计算量。
• 在预训练后对编码器在完整图像上进行微调以用于识别任务，并与有监督基线进行比较。

Figure 1 : Our MAE architecture . During pre-training, a large random subset of image patches ( e.g . , 75%) is masked out. The encoder is applied to the small subset of visible patches . Mask tokens are introduced after the encoder, and the full set of encoded patches and mask tokens is processed b

实验结果

研究问题

• RQ1 高掩蔽比的掩蔽自编码是否能提供可扩展的自监督视觉表示？
• RQ2 非对称的编码器-解码器设计是否在降低计算的同时保留或提升表示质量？
• RQ3 与有监督预训练相比，MAE 预训练在模型规模和向下游视觉任务的迁移上如何扩展？
• RQ4 哪种重建目标（像素 vs 令牌）和掩蔽策略能获得最佳的迁移性能？

主要发现

• 在高掩蔽（约 75%）下，MAE 能产生强大的自监督表示，使大规模 ViT 模型在微调时超越在 ImageNet-1K 上的有监督预训练。
• 非对称设计——编码器仅处理可见补丁、解码器负责重建——显著降低训练 FLOPs 和显存，提供 3x 及以上的加速。
• 解码器的深度和宽度对线性探测影响大于微调；更深的解码器有助于线性探测，而对于微调来说非常小的解码器就足够。
• 像素级重建（带归一化）在迁移任务中的表现优于基于令牌的目标，令牌化并非强性能所必需。
• MAE 展现出对对象检测、实例分割和语义分割的鲁棒迁移能力，且通常优于有监督预训练，且模型规模越大，收益越显著。

Figure 2 : Example results on ImageNet validation images. For each triplet, we show the masked image (left), our MAE reconstruction † (middle), and the ground-truth (right). The masking ratio is 80%, leaving only 39 out of 196 patches. More examples are in the appendix. † As no loss is computed on v