[论文解读] GPViT: A High Resolution Non-Hierarchical Vision Transformer with Group Propagation

Chenhongyi Yang, Jiarui Xu+3 more|arXiv (Cornell University)|Dec 13, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

GPViT 提出了一种非层级化的视觉 Transformer，具备高分辨率特征和一种新颖的分组传播模块（GP 模块），通过可学习的分组令牌实现高效的全局信息交换，并采用基于 MLPMixer 的传播机制。该方法在语义分割和目标检测任务上实现了最先进性能，在 ADE20K 语义分割任务上，以 50% 的参数量超越 Swin Transformer-B，mIoU 提升 2.0。

ABSTRACT

We present the Group Propagation Vision Transformer (GPViT): a novel nonhierarchical (i.e. non-pyramidal) transformer model designed for general visual recognition with high-resolution features. High-resolution features (or tokens) are a natural fit for tasks that involve perceiving fine-grained details such as detection and segmentation, but exchanging global information between these features is expensive in memory and computation because of the way self-attention scales. We provide a highly efficient alternative Group Propagation Block (GP Block) to exchange global information. In each GP Block, features are first grouped together by a fixed number of learnable group tokens; we then perform Group Propagation where global information is exchanged between the grouped features; finally, global information in the updated grouped features is returned back to the image features through a transformer decoder. We evaluate GPViT on a variety of visual recognition tasks including image classification, semantic segmentation, object detection, and instance segmentation. Our method achieves significant performance gains over previous works across all tasks, especially on tasks that require highresolution outputs, for example, our GPViT-L3 outperforms Swin Transformer-B by 2.0 mIoU on ADE20K semantic segmentation with only half as many parameters. Project page: chenhongyiyang.com/projects/GPViT/GPViT

研究动机与目标

• 设计一种非层级化的视觉 Transformer，使网络全程保持高分辨率特征，以支持细粒度视觉任务。
• 通过实现高效的全局信息交换，解决高分辨率设置下自注意力机制的二次方计算复杂度问题。
• 在不使用层级（金字塔）结构设计的同时，保持或提升在密集预测任务上的性能。
• 证明高分辨率特征与高效全局通信的结合，可在准确率和效率上超越层级模型。

提出的方法

• 引入分组传播模块（GP 模块）作为核心组件，替代高分辨率视觉 Transformer 中的标准自注意力机制。
• 利用可学习的分组令牌，将高分辨率图像特征聚类为固定数量的组，降低全局通信成本。
• 应用 MLPMixer 模块，在分组特征之间传播全局信息，实现低成本的全局建模。
• 采用交叉注意力机制，将分组特征中更新的全局信息回传至单个图像令牌。
• 保持与图像令牌数量呈线性复杂度，避免标准自注意力机制的二次方扩展。
• 通过在所有阶段统一使用 GP 模块构建简单、非层级化的架构，避免特征下采样和多尺度特征融合。

实验结果

研究问题

• RQ1 非层级化的视觉 Transformer 若保持全分辨率特征，是否能在语义分割和目标检测等密集预测任务上超越层级模型？
• RQ2 是否可能在高分辨率视觉 Transformer 中实现高效的全局信息交换，同时避免二次方计算复杂度？
• RQ3 与其它全局通信机制（如全局注意力、卷积、窗口注意力）相比，GP 模块在准确率和效率方面表现如何？
• RQ4 在性能与计算成本之间取得最佳平衡时，分组令牌的最优数量和配置是什么？
• RQ5 在高分辨率设置下，局部注意力与 GP 模块的结合是否优于仅使用局部注意力？

主要发现

• GPViT-L3 在 ADE20K 语义分割任务上比 Swin Transformer-B 提高 2.0 mIoU，同时参数量仅为后者的 50%。
• GPViT-L1 在 COCO 实例分割任务上达到 2.6 APbb 和 1.4 mk 的提升，参数量减少 30%。
• GPViT-L2 在 ADE20K 语义分割任务上比 Swin Transformer-B 提高 0.5 mIoU，参数量减少 40%。
• 在所有测试的全局通信方法中（包括全局注意力和窗口注意力），GP 模块在 ImageNet（80.5% 准确率）和 ADE20K（46.9 mIoU）上均取得最高准确率。
• 每块使用 64 个分组令牌，并在各阶段逐步减少至 16 个，可在准确率与 FLOPs 之间取得最佳平衡。
• GP 模块在 ImageNet 上的 FLOP 计数为 5.8G，在 ADE20K 上为 34G，与基线局部注意力模型相当，同时显著提升了准确率。