[论文解读] Exploring Plain Vision Transformer Backbones for Object Detection
该论文研究使用普通(非分层)ViT 主干用于目标检测,显示在微调适配和 MAE 预训练方面的竞争力结果,包括使用 ViT-H 和 ImageNet-1K 预训练在 COCO 上达到 61.3 的 AP(框)。
We explore the plain, non-hierarchical Vision Transformer (ViT) as a backbone network for object detection. This design enables the original ViT architecture to be fine-tuned for object detection without needing to redesign a hierarchical backbone for pre-training. With minimal adaptations for fine-tuning, our plain-backbone detector can achieve competitive results. Surprisingly, we observe: (i) it is sufficient to build a simple feature pyramid from a single-scale feature map (without the common FPN design) and (ii) it is sufficient to use window attention (without shifting) aided with very few cross-window propagation blocks. With plain ViT backbones pre-trained as Masked Autoencoders (MAE), our detector, named ViTDet, can compete with the previous leading methods that were all based on hierarchical backbones, reaching up to 61.3 AP_box on the COCO dataset using only ImageNet-1K pre-training. We hope our study will draw attention to research on plain-backbone detectors. Code for ViTDet is available in Detectron2.
研究动机与目标
- 将骨干设计与检测特定模块解耦,以使普通 ViT 主干能够被微调用于检测。
- 证明一个简单的、非分层的骨干可以在没有传统 FPN 的情况下实现多尺度检测。
- 证明最小的改动——窗口注意力和简单的特征金字塔——就足以实现出色的性能。
- 在公平条件下,将普通骨干检测器与领先的分层骨干(Swin、MViT)进行对比。
- 突出 MAE 预训练对普通 ViT 骨干在检测任务中的优势。
提出的方法
- 使用在 ImageNet-1K 上通过 Masked Autoencoder (MAE) 预训练的普通 ViT 主干(ViT-B/L/H)。
- 从普通骨干的最后一个特征图构建一个简单的特征金字塔,以在没有 FPN 风格分层骨干的情况下实现多尺度检测。
- 在微调过程中应用基于窗口的自注意力,使用少量跨窗口传播块(全局注意力或卷积)。
- 在 COCO 上对检测器(Mask R-CNN / Cascade Mask R-CNN)进行微调,采用 ImageNet-1K MAE 预训练,使用标准检测头。
- 比较四种骨干改造策略(无、卷积传播、全局传播、以及多种传播布置)在性能和效率上的差异。
- 在 COCO 与 LVIS 数据集上进行评估,并与 Swin 和 MViT 的分层骨干进行比较。
实验结果
研究问题
- RQ1一个普通、非分层的 ViT 主干能否在不牺牲检测性能的前提下有效地进行多尺度目标检测的微调?
- RQ2对普通 ViT 主干而言,哪些最小改动足以实现具竞争力的检测结果(特征金字塔、窗口注意力、跨窗口传播)?
主要发现
- 普通骨干配合简单的特征金字塔在没有金字塔的基线基础上实现了领先,提升多达 3.4 的 COCO AP。
- 带有少量跨窗口传播块的窗口注意力对检测任务的准确性足够好。
- 在 IN-1K 上的 MAE 预训练对于 ViT 主干在检测任务中带来显著收益(例如,ViT-B +3.1 AP,ViT-L +4.6 AP)。
- ViTDet 通过 MAE 预训练能够达到与分层骨干的竞争性结果,对于大型模型甚至能超越某些分层方法。
- 在 COCO 上,使用 MAE 预训练的 ViT-H 达到 61.3 AP 框,且与普通骨干的强大检测性能相媲美。
- 普通骨干检测器显示出比某些分层骨干方法更有利的扩展性和更快的实际运行速度。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。