[论文解读] DropPos: Pre-Training Vision Transformers by Reconstructing Dropped Positions

Haochen Wang, Junsong Fan+4 more|arXiv (Cornell University)|Sep 7, 2023

Advanced Neural Network Applications被引用 4

一句话总结

DropPos 为视觉 Transformer 提出了一种自监督的前置任务，通过重建随机丢弃的位置嵌入来增强空间推理能力。通过掩码图像块并丢弃其位置嵌入，模型仅从视觉外观学习预测原始位置，仅使用 800 个预训练周期就在 ImageNet-1K 上实现了 84.2% 的 top-1 准确率，达到当前最先进性能，优于 MAE 的 +0.6%（MAE 使用 1600 个预训练周期）。

ABSTRACT

As it is empirically observed that Vision Transformers (ViTs) are quite insensitive to the order of input tokens, the need for an appropriate self-supervised pretext task that enhances the location awareness of ViTs is becoming evident. To address this, we present DropPos, a novel pretext task designed to reconstruct Dropped Positions. The formulation of DropPos is simple: we first drop a large random subset of positional embeddings and then the model classifies the actual position for each non-overlapping patch among all possible positions solely based on their visual appearance. To avoid trivial solutions, we increase the difficulty of this task by keeping only a subset of patches visible. Additionally, considering there may be different patches with similar visual appearances, we propose position smoothing and attentive reconstruction strategies to relax this classification problem, since it is not necessary to reconstruct their exact positions in these cases. Empirical evaluations of DropPos show strong capabilities. DropPos outperforms supervised pre-training and achieves competitive results compared with state-of-the-art self-supervised alternatives on a wide range of downstream benchmarks. This suggests that explicitly encouraging spatial reasoning abilities, as DropPos does, indeed contributes to the improved location awareness of ViTs. The code is publicly available at https://github.com/Haochen-Wang409/DropPos.

研究动机与目标

• 为解决视觉 Transformer 在实际应用中对 token 顺序不敏感的问题。
• 设计一种自监督的前置任务，明确增强 ViT 的空间推理与位置理解能力。
• 克服对比学习和掩码图像建模等现有方法在促进空间泛化方面的局限性。
• 避免在位置感知表示学习中出现平凡解以及预训练/微调差异。
• 提升在需要强空间推理能力的视觉下游任务（如分割和检测）中的性能。

提出的方法

• DropPos 掩码图像中随机选择的一小部分图像块，并丢弃其对应的位置嵌入，迫使模型仅从视觉特征预测每个可见块的原始位置。
• 模型执行逐块分类任务，仅使用视觉特征和少量位置嵌入完整的锚点块，从所有可能的位置中预测正确位置。
• 对位置预测任务应用平滑策略，当图像块视觉外观相似时降低任务难度，减少对精确位置重建的依赖。
• 引入注意力重建策略，通过聚焦空间上下文信息，引导模型实现更鲁棒的位置预测。
• 通过不完全移除所有位置嵌入，避免预训练与微调之间的差异，确保预训练阶段保留部分位置信号。
• 将任务形式化为自监督学习目标，促使 ViT 仅从视觉外观学习空间布局与形状关系。

实验结果

研究问题

• RQ1 一种明确重建位置的自监督前置任务是否能提升视觉 Transformer 的空间推理与位置感知能力？
• RQ2 仅从视觉外观重建位置是否能带来优于对比学习或掩码图像建模的表示学习效果？
• RQ3 在仅使用视觉特征训练 ViT 预测位置时，如何防止出现平凡解？
• RQ4 能否在不强制精确位置预测的前提下，使位置重建对图像块视觉相似性保持鲁棒？
• RQ5 增强的位置敏感性是否能转化为在需要空间理解的下游视觉任务中的更好性能？

主要发现

• DropPos 仅使用 800 个预训练周期就在 ImageNet-1K 上达到 84.2% 的 top-1 准确率，优于 MAE（1600 个周期）的 +0.6%。
• 在 COCO 目标检测与实例分割基准上，DropPos 一致优于 MAE，证明其具备更强的空间推理能力。
• 在 ADE20k 语义分割任务上，DropPos 使用 800 个预训练周期达到 47.8% 的 mIoU，优于 MAE 的 +0.8%。
• 线性探测实验表明，DropPos 预训练模型在微调后的位置预测任务中 top-1 准确率达到 88.0%，表明其具备更强的空间建模能力。
• 定性结果表明，即使在极端掩码率（γ=0.75）下，DropPos 仍能准确重建位置，展现出良好鲁棒性。
• 消融研究证实，增强的位置敏感性可直接提升下游任务性能，验证了该方法的核心动机。