Skip to main content
QUICK REVIEW

[论文解读] MaxViT: Multi-Axis Vision Transformer

Zhengzhong Tu, Hossein Talebi|arXiv (Cornell University)|Apr 4, 2022
Visual Attention and Saliency DetectionComputer Science被引用 26
一句话总结

MaxViT 引入了一种多轴自注意力机制,将分块局部注意力与扩张全局注意力结合,并将其与卷积结合,形成一个可扩展的分层视觉骨干,在 ImageNet 与 COCO 上实现了先进的结果。

ABSTRACT

Transformers have recently gained significant attention in the computer vision community. However, the lack of scalability of self-attention mechanisms with respect to image size has limited their wide adoption in state-of-the-art vision backbones. In this paper we introduce an efficient and scalable attention model we call multi-axis attention, which consists of two aspects: blocked local and dilated global attention. These design choices allow global-local spatial interactions on arbitrary input resolutions with only linear complexity. We also present a new architectural element by effectively blending our proposed attention model with convolutions, and accordingly propose a simple hierarchical vision backbone, dubbed MaxViT, by simply repeating the basic building block over multiple stages. Notably, MaxViT is able to ''see'' globally throughout the entire network, even in earlier, high-resolution stages. We demonstrate the effectiveness of our model on a broad spectrum of vision tasks. On image classification, MaxViT achieves state-of-the-art performance under various settings: without extra data, MaxViT attains 86.5% ImageNet-1K top-1 accuracy; with ImageNet-21K pre-training, our model achieves 88.7% top-1 accuracy. For downstream tasks, MaxViT as a backbone delivers favorable performance on object detection as well as visual aesthetic assessment. We also show that our proposed model expresses strong generative modeling capability on ImageNet, demonstrating the superior potential of MaxViT blocks as a universal vision module. The source code and trained models will be available at https://github.com/google-research/maxvit.

研究动机与目标

  • 推动能够捕捉局部与全局交互的可扩展视觉架构。
  • 开发一个将块局部注意力和网格全局注意力与卷积相结合的 transformer 模块。
  • 通过在各阶段重复 MaxViT 块来构建一个简单的分层骨干。
  • 展示在分类、检测、美学和生成任务上的出色表现。

提出的方法

  • 引入多轴自注意力(Max-SA),将全注意力分解为块局部注意力和网格全局注意力,具线性复杂度。
  • 将 Max-SA 与 MBConv 块和 SE 结合以改善泛化,使用 MBConv 作为条件位置编码。
  • 通过在四个阶段(S0-S4)堆叠重复的 MaxViT 块来构建分层骨干 MaxViT。
  • 提供可配置的变体(MaxViT-T、-S、-B、-L、-XL),每个阶段的块数和通道大小不同。
  • 表明 Max-SA 可以作为 Swin 式的注意力替代,参数量和 FLOPs 相同,但在所有阶段实现全局交互。

实验结果

研究问题

  • RQ1在高分辨率视觉任务中,多轴注意力(局部块 + 全局网格)能否以线性复杂度提供全局上下文?
  • RQ2在一个简单的分层骨干中,将 Max-SA 与卷积结合是否能在准确性和效率上超越现有的 Vision Transformer 和混合架构?
  • RQ3各种架构选择(块顺序、串行与并行注意力、MBConv 的包含、垂直布局)如何影响不同视觉任务的性能?
  • RQ4MaxViT 在数据量方面(ImageNet-1K、ImageNet-21K、JFT-300M)的扩展程度,以及在下游任务如检测与美学方面的表现如何?
  • RQ5MaxViT 是否具备在图像生成场景下的强生成性能?

主要发现

  • MaxViT 在 ImageNet-1K 的各设定下达到最先进的 top-1 准确率,包括 MaxViT-L 在 512x512 微调时达到 86.7%,以及 MaxViT-L 在 224x224 下无额外数据达到 85.17%。
  • 在 ImageNet-21K 预训练下,MaxViT-B 达到 88.38% top-1,MaxViT-XL 在 512x512 达到 88.70%,优于同类或更大尺寸的前序模型。
  • 在 JFT-300M 规模数据上,MaxViT-XL 实现 89.53% top-1 准确率,展示了对大规模数据的强扩展性。
  • 在 COCO 目标检测/实例分割中,MaxViT 骨干在不同尺寸上优于 Swin、ConvNeXt 和 UViT,基线水平的优势明显(例如 MaxViT-S 在相似 FLOPs 下超越 Swin-B 和 UViT-B)。
  • 在图像美学(AVA)上,MaxViT-T 展现出具有竞争力的 PLCC/SRCC 分数,并在更高分辨率下相比先前方法有所提升。
  • 在无条件的 128x128 图像生成中,MaxViT 以更少的参数获得比 HiT 及其他基线更好的 FID/IS。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。