[论文解读] A Simple Single-Scale Vision Transformer for Object Localization and Instance Segmentation

Wuyang Chen, Xianzhi Du+9 more|arXiv (Cornell University)|Dec 17, 2021

Advanced Neural Network Applications被引用 12

一句话总结

本文提出通用视觉Transformer（UViT），一种简单、单尺度的视觉Transformer主干网络，在不采用层级设计或多尺度特征的情况下，实现了目标检测与实例分割任务中的优异性能。通过保持恒定的特征分辨率与隐藏层尺寸，并采用渐进式窗口自注意力机制，UViT在COCO基准上以更少的参数量和更高的效率，超越了Swin Transformer与ResNets的性能表现。

ABSTRACT

This work presents a simple vision transformer design as a strong baseline for object localization and instance segmentation tasks. Transformers recently demonstrate competitive performance in image classification tasks. To adopt ViT to object detection and dense prediction tasks, many works inherit the multistage design from convolutional networks and highly customized ViT architectures. Behind this design, the goal is to pursue a better trade-off between computational cost and effective aggregation of multiscale global contexts. However, existing works adopt the multistage architectural design as a black-box solution without a clear understanding of its true benefits. In this paper, we comprehensively study three architecture design choices on ViT -- spatial reduction, doubled channels, and multiscale features -- and demonstrate that a vanilla ViT architecture can fulfill this goal without handcrafting multiscale features, maintaining the original ViT design philosophy. We further complete a scaling rule to optimize our model's trade-off on accuracy and computation cost / model size. By leveraging a constant feature resolution and hidden size throughout the encoder blocks, we propose a simple and compact ViT architecture called Universal Vision Transformer (UViT) that achieves strong performance on COCO object detection and instance segmentation tasks.

研究动机与目标

• 挑战卷积神经网络（CNN）启发的层级设计（如多尺度特征、空间下采样）在视觉Transformer用于密集预测任务时的必要性假设。
• 评估原始视觉Transformer架构是否可作为目标检测与实例分割任务中的强大且简洁的基线模型。
• 识别在视觉Transformer用于密集预测任务时，多尺度特征、通道加倍与空间下采样等架构选择的真实贡献。
• 为视觉Transformer建立复合缩放规则，以优化精度、浮点运算量（FLOPs）与模型大小之间的权衡。
• 证明自注意力机制本身可有效捕捉非局部上下文信息，从而降低对显式特征金字塔的依赖。

提出的方法

• 提出一种单尺度视觉Transformer（UViT），在所有编码器块中保持恒定的特征分辨率与隐藏层尺寸，避免空间下采样与多尺度特征工程。
• 引入渐进式窗口自注意力机制，其中窗口大小随网络深度增加，以降低计算成本，同时保持性能。
• 采用统一的缩放策略，对深度、宽度与输入分辨率进行同步调整，以优化精度与效率之间的权衡。
• 在COCO 2017数据集上，使用标准Cascade Mask R-CNN框架进行目标检测与实例分割，训练时采用896×896分辨率的多尺度数据增强。
• 通过使用ImageNet-1K未标注数据进行自训练与伪标签生成，进一步提升性能。
• 开展广泛的消融实验，以分离空间下采样、通道加倍与多尺度特征对视觉Transformer性能的影响。

实验结果

研究问题

• RQ1 CNN的多阶段、层级化设计是否对视觉Transformer在目标检测与实例分割等密集预测任务中是必要的？
• RQ2 一个保持分辨率与隐藏层尺寸恒定的原始视觉Transformer架构，是否能超越更复杂、定制化的视觉Transformer架构？
• RQ3 在视觉Transformer用于密集预测任务时，多尺度特征、空间下采样与通道加倍的实际贡献是什么？
• RQ4 渐进式窗口自注意力机制是否能在高分辨率检测任务中降低计算成本，同时不损失性能？
• RQ5 如何为视觉Transformer设计一种复合缩放规则，以优化精度、FLOPs与模型大小之间的权衡？

主要发现

• UViT在COCO实例分割任务中达到52.5 box AP与44.8 mask AP，仅使用74.4M参数与1160.1 GFLOPs，效率上优于Swin-B与ResNet-152。
• 经过自训练的UViT-B模型达到53.9 box AP与46.1 mask AP，相比基础模型分别提升1.4%与1.3%。
• 在相似FLOPs条件下，UViT模型的参数量比Swin Transformer至少减少44.9%，展现出更优的参数效率。
• 消融实验表明，多尺度特征与空间下采样在视觉Transformer中带来的收益极小，而渐进式窗口机制可在保持稳定性能的同时显著降低计算量。
• 所提出的复合缩放规则使紧凑的UViT变体（如参数量低于40M的UViT-T）在COCO基准上仍能保持强大的精度表现。
• 结果表明，原始视觉Transformer的设计理念——不依赖CNN启发的修改——可作为密集视觉任务的强大且简洁的基线。