[论文解读] IncepFormer: Efficient Inception Transformer with Pyramid Pooling for Semantic Segmentation

Lihua Fu, Haoyue Tian+3 more|arXiv (Cornell University)|Dec 6, 2022

Advanced Neural Network Applications被引用 5

一句话总结

IncepFormer 提出了一种新颖且高效的基于 Transformer 的语义分割架构，通过将类似 Inception 的多尺度自注意力机制与金字塔池化相结合，同时捕捉全局上下文和细粒度定位。其在 ADE20K 上达到 47.7% 的 mIoU，在 Cityscapes 上达到 82.0%，性能超越以往方法，同时参数量仅为其一半，FLOPs 更少。

ABSTRACT

Semantic segmentation usually benefits from global contexts, fine localisation information, multi-scale features, etc. To advance Transformer-based segmenters with these aspects, we present a simple yet powerful semantic segmentation architecture, termed as IncepFormer. IncepFormer has two critical contributions as following. First, it introduces a novel pyramid structured Transformer encoder which harvests global context and fine localisation features simultaneously. These features are concatenated and fed into a convolution layer for final per-pixel prediction. Second, IncepFormer integrates an Inception-like architecture with depth-wise convolutions, and a light-weight feed-forward module in each self-attention layer, efficiently obtaining rich local multi-scale object features. Extensive experiments on five benchmarks show that our IncepFormer is superior to state-of-the-art methods in both accuracy and speed, e.g., 1) our IncepFormer-S achieves 47.7% mIoU on ADE20K which outperforms the existing best method by 1% while only costs half parameters and fewer FLOPs. 2) Our IncepFormer-B finally achieves 82.0% mIoU on Cityscapes dataset with 39.6M parameters. Code is available:github.com/shendu0321/IncepFormer.

研究动机与目标

• 为解决标准 Transformer 在语义分割中的局限性，特别是计算成本高和多尺度特征建模不足的问题。
• 通过将卷积和池化中的归纳偏置引入自注意力机制，提升局部与全局上下文学习能力，从而改进特征表示。
• 设计一种轻量化、高效的解码器，有效融合来自不同编码器阶段的多尺度特征，实现高分辨率预测。
• 在多个基准上实现模型精度、参数量与计算效率之间的优越平衡。

提出的方法

• 提出 Inception 多头自注意力（Incep-MHSA），结合深度可分离卷积与多尺度卷积核大小，并引入池化操作，以增强感受野灵活性与归纳偏置。
• 用 BatchNorm 取代标准位置嵌入，并采用轻量化前馈网络（E-FFN）以降低计算成本，提升二维空间建模能力。
• 采用金字塔结构编码器，通过类似 Inception 的设计，在层内与阶段间均实现多尺度特征捕捉。
• 提出轻量化上采样-拼接解码器（Upsample-Concat decoder），在对多阶段特征进行上采样后进行拼接，实现局部与全局上下文的高效融合。
• 采用简单、端到端的训练范式，无需位置嵌入，依赖卷积与归一化层提供的空间归纳偏置。
• 将架构扩展为三种变体（T、S、B），以实现效率与性能之间的权衡，适用于多样化的部署场景。

实验结果

研究问题

• RQ1 是否可通过在 Transformer 编码器中引入卷积与池化的归纳偏置，实现更优的语义分割特征表示？
• RQ2 如何在 Transformer 层之间与层内均增强多尺度特征学习，以提升目标定位与上下文建模能力？
• RQ3 轻量化解码器能否在不增加计算成本的前提下，有效融合来自不同阶段的多尺度特征？
• RQ4 在自注意力机制中集成金字塔池化与类似 Inception 的模块，是否能相比标准 Transformer 实现更优的精度与效率权衡？
• RQ5 所提出的架构是否能以显著更少的参数量与 FLOPs 实现 SOTA 性能？

主要发现

• IncepFormer-S 在 ADE20K 上达到 47.7% 的 mIoU，优于此前 SOTA 方法 1%，且参数量仅为其一半，FLOPs 更少。
• IncepFormer-B 在 Cityscapes 上实现 82.0% 的 mIoU，参数量为 39.6M，优于 HRNet-OCR（在 Pascal Context 上为 56.2%）的性能，且参数量与 FLOPs 更少。
• IncepFormer-S 在 Cityscapes 上比 SegFormer-B2 高出 0.6% mIoU，同时计算成本降低 88.5%（83.2G vs. 717.1G FLOPs）。
• 所提出的 Upsample-Concat 解码器相比 SegFormer 风格解码器将 mIoU 提升 0.2%，证明了跨阶段特征融合的有效性。
• 在 ADE20K 上，IncepFormer 实现了最佳的性能-参数权衡，优于 Swin Transformer、SETR 与 SegFormer，在精度与效率方面均表现更优。
• 定性结果表明，IncepFormer 生成的分割掩码比 SegFormer 更清晰、更准确，尤其在复杂城市场景中表现更优。