[论文解读] Extreme Masking for Learning Instance and Distributed Visual Representations

Zhirong Wu, Zihang Lai+2 more|arXiv (Cornell University)|Jun 9, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

ExtreMA 提出了一种新颖的自监督学习方法，通过使用极端掩码（75%-90%）作为 Siamese 表征学习的数据增强，训练一个学生网络，利用简单的 BYOL 目标从掩码视图预测整体图像表征。该方法在 ImageNet、ADE20K 和 COCO 上实现了线性探测和迁移性能的 SOTA，优于 MAE 和 DINO，且计算量显著更低。

ABSTRACT

The paper presents a scalable approach for learning spatially distributed visual representations over individual tokens and a holistic instance representation simultaneously. We use self-attention blocks to represent spatially distributed tokens, followed by cross-attention blocks to aggregate the holistic image instance. The core of the approach is the use of extremely large token masking (75\%-90\%) as the data augmentation for supervision. Our model, named ExtreMA, follows the plain BYOL approach where the instance representation from the unmasked subset is trained to predict that from the intact input. Instead of encouraging invariance across inputs, the model is required to capture informative variations in an image. The paper makes three contributions: 1) It presents random masking as a strong and computationally efficient data augmentation for siamese representation learning. 2) With multiple sampling per instance, extreme masking greatly speeds up learning and improves performance with more data. 3) ExtreMA obtains stronger linear probing performance than masked modeling methods, and better transfer performance than prior contrastive models.

研究动机与目标

• 探索极端掩码作为 Siamese 表征学习新型数据增强的可行性。
• 在无需显式掩码建模监督的情况下，同时学习分布式（标记级）和整体性（实例级）视觉表征。
• 通过利用高掩码比率和每张图像的多次采样，提升学习效率和性能。
• 在计算成本显著降低的前提下，实现与当前最优对比学习和掩码建模方法相当或更优的迁移性能。

提出的方法

• ExtreMA 使用视觉 Transformer (ViT) 对图像块的空间分布表征进行编码。
• 交叉注意力模块将分布表征聚合为整体实例表征。
• 模型在输入图像上采用极端掩码（75%-90%）作为数据增强策略。
• 采用简单的 BYOL 风格目标，训练学生网络从完整输入预测实例表征，其中掩码视图作为输入。
• 对每张图像应用多个随机掩码，以增加数据多样性并加速收敛。
• 教师网络通过动量更新，学生网络则被训练以最小化完整视图与掩码视图之间的对比损失。

实验结果

研究问题

• RQ1 极端掩码（75%-90%）能否作为 Siamese 表征学习的有效且高效的数据增强？
• RQ2 通过掩码预测学习实例级表征是否优于传统的掩码建模和对比学习方法？
• RQ3 高掩码比率下的多掩码策略如何影响学习速度和模型性能？
• RQ4 ExtreMA 是否能在无需复杂架构修改的情况下实现强大的零样本和微调迁移性能？

主要发现

• 在仅使用 300 个周期和 1% 标注数据的条件下，ExtreMA 在 ImageNet-1k 上实现了 67.3% 的线性探测准确率，优于 DINO（64.7%）和 MAE（52.7%）。
• 在 ADE20K 语义分割任务上，ExtreMA 在 ImageNet-22k 上预训练仅 30 个周期即达到 48.4 mIoU，尽管 MAE 使用了 1600 个周期，仍被其超越。
• 在 COCO 目标检测任务上，ExtreMA 在 ImageNet-22k 上训练 30 个周期即达到 48.5 AP，优于 MAE（48.4 AP，300 个周期）和 DINO（46.8 AP，400 个周期）。
• ExtreMA 的收敛速度优于 MAE 和 DINO，性能与 MSN 和 MoCo-v3 相当或更优，且计算量显著更低。
• 模型在注意力图中保持了精确的空间对应关系，表明分布表征在语义上具有意义且空间上一致。
• ExtreMA 具备良好的数据扩展性：当训练数据扩展至 ImageNet-22k 时，ADE20K 上的性能提升 0.5 mIoU，显示出强大的数据效率。