[论文解读] Exploring the Coordination of Frequency and Attention in Masked Image Modeling

Jie Gui, Chen, Tuo+5 more|arXiv (Cornell University)|Nov 28, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种即插即用的模块——注意力驱动掩码与丢弃（AMT），用于掩码图像建模（MIM），该模块利用自注意力图来指导选择性掩码和冗余图像块的丢弃。通过聚焦于显著物体区域并战略性地移除冗余token以减少计算量，AMT在多个基准测试中将线性探测准确率提升了2.9%–5.9%，同时加速了预训练过程，并在性能上超越了MAE和SimMIM。

ABSTRACT

Recently, masked image modeling (MIM), which learns visual representations by reconstructing the masked patches of an image, has dominated self-supervised learning in computer vision. However, the pre-training of MIM always takes massive time due to the large-scale data and large-size backbones. We mainly attribute it to the random patch masking in previous MIM works, which fails to leverage the crucial semantic information for effective visual representation learning. To tackle this issue, we propose the Frequency \& Attention-driven Masking and Throwing Strategy (FAMT), which can extract semantic patches and reduce the number of training patches to boost model performance and training efficiency simultaneously. Specifically, FAMT utilizes the self-attention mechanism to extract semantic information from the image for masking during training in an unsupervised manner. However, attention alone could sometimes focus on inappropriate areas regarding the semantic information. Thus, we are motivated to incorporate the information from the frequency domain into the self-attention mechanism to derive the sampling weights for masking, which captures semantic patches for visual representation learning. Furthermore, we introduce a patch throwing strategy based on the derived sampling weights to reduce the training cost. FAMT can be seamlessly integrated as a plug-and-play module and surpasses previous works, \emph{e.g.} reducing the training phase time by nearly $50\%$ and improving the linear probing accuracy of MAE by $1.3\% \sim 3.9\%$ across various datasets, including CIFAR-10/100, Tiny ImageNet, and ImageNet-1K. FAMT also demonstrates superior performance in downstream detection and segmentation tasks.

研究动机与目标

• 解决掩码图像建模（MIM）中随机掩码效率低下的问题，避免注意力分散到无关的背景区域。
• 通过在训练过程中移除冗余图像块来降低视觉Transformer预训练的高计算成本。
• 通过利用无监督语义注意力图来指导掩码与丢弃策略，提升表示学习效果。
• 开发一种与现有MIM框架（如MAE和SimMIM）兼容的即插即用模块，以增强可迁移性与效率。
• 在分类、检测和分割等下游任务中展示优越性能，且仅需对网络架构进行最小程度的修改。

提出的方法

• 利用视觉Transformer中[CLS]标记的自注意力机制提取显著性图，实现在训练过程中无监督的语义理解。
• 通过选择注意力权重较高的图像块进行掩码，实现注意力驱动的掩码策略，使模型聚焦于语义上重要的区域。
• 提出一种冗余图像块丢弃策略，永久性地从输入中移除低注意力的token，从而降低计算负载。
• 优化掩码与丢弃比例（例如45%掩码，40%丢弃），在表示质量与训练速度之间取得平衡。
• 将AMT模块作为插件直接应用于现有MIM框架（如MAE和SimMIM），无需修改主干网络架构。
• 在基线模型与消融实验中采用相同的训练设置，确保公平比较，包括相同的超参数与评估协议。

实验结果

研究问题

• RQ1 视觉Transformer中的自注意力图是否能有效用于指导MIM中的非随机、语义感知掩码？
• RQ2 通过选择性地移除低注意力图像块（即‘丢弃’）是否能提升MIM的训练效率与表示质量？
• RQ3 在线性探测与微调准确率方面，注意力驱动掩码与丢弃策略相较于随机掩码与无丢弃策略表现如何？
• RQ4 AMT在COCO和LVIS等下游检测与分割任务上的可迁移性提升程度如何？
• RQ5 在所提出的AMT框架中，掩码比例、丢弃比例与性能之间的最优权衡是什么？

主要发现

• 在CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet和ImageNet-1K等多个数据集上，AMT使MAE的线性探测准确率提升了2.9%至5.9%。
• 在ImageNet-1K及下游基准测试中，AMT使MAE和SimMIM的微调准确率分别提升了0.2%至5.8%。
• 在COCO目标检测任务中，AMT在所有AP指标上均表现出一致的改进，尤其在高IoU阈值下，AP与AP^box指标达到最佳表现。
• 在具有长尾类别分布的挑战性LVIS数据集中，AMT相较基线方法所有检测指标均至少提升了1.4%。
• 在Tiny ImageNet上，采用40%丢弃与45%掩码的AMT策略取得了最佳准确率，相比随机丢弃与低注意力丢弃策略高出0.7%。
• 当50%的token被丢弃时，AMT使预训练速度提升1.6倍，同时在ImageNet-1K上保持优于随机掩码的性能表现（在SimMIM中）