[论文解读] CycleMLP: A MLP-like Architecture for Dense Prediction

Shoufa Chen, Enze Xie+4 more|arXiv (Cornell University)|Jul 21, 2021

Advanced Neural Network Applications参考文献 79被引用 99

一句话总结

CycleMLP 引入 Cycle 全连接层（Cycle FC），以创建一个分层的、类似 MLP 的主干，随图片大小呈线性复杂度，能够实现有效的密集预测，并在检测、分割和分类任务上与 CNN 和 Transformer 具有竞争力的性能。

ABSTRACT

This paper presents a simple MLP-like architecture, CycleMLP, which is a versatile backbone for visual recognition and dense predictions. As compared to modern MLP architectures, e.g., MLP-Mixer, ResMLP, and gMLP, whose architectures are correlated to image size and thus are infeasible in object detection and segmentation, CycleMLP has two advantages compared to modern approaches. (1) It can cope with various image sizes. (2) It achieves linear computational complexity to image size by using local windows. In contrast, previous MLPs have $O(N^2)$ computations due to fully spatial connections. We build a family of models which surpass existing MLPs and even state-of-the-art Transformer-based models, e.g., Swin Transformer, while using fewer parameters and FLOPs. We expand the MLP-like models' applicability, making them a versatile backbone for dense prediction tasks. CycleMLP achieves competitive results on object detection, instance segmentation, and semantic segmentation. In particular, CycleMLP-Tiny outperforms Swin-Tiny by 1.3% mIoU on ADE20K dataset with fewer FLOPs. Moreover, CycleMLP also shows excellent zero-shot robustness on ImageNet-C dataset. Code is available at https://github.com/ShoufaChen/CycleMLP.

研究动机与目标

• 激励并实现适用于密集预测任务（检测、分割）的类似 MLP 的主干，能够处理可变输入尺度。
• 解决先前 MLP 模型的局限性：非分层块、固定输入尺度和二次代价。
• 提出 Cycle FC，在扩大感受野的同时保持输入尺度灵活性和线性复杂度。
• 构建一个具有分层结构的 CycleMLP 家族模型，用于识别与密集预测。
• 在标准基准上展示与 CNN、Transformer 以及最先进的 MLP 相竞争的性能。

提出的方法

• 引入 Cycle 全连接层（Cycle FC），沿通道维采样以创建带有偏移量 delta_i(c)、delta_j(c) 和步长 SH、SW 的感受野。
• Cycle FC 的参数和 FLOP 复杂度随图像大小呈线性，使任意输入分辨率成为可能。
• 构建 CycleMLP 块，包含三个并行的 Cycle FC 分支（1x7、7x1、1x1）外加一个通道-MLP，使用 LayerNorm 和残差连接。
• 构建一个四阶段的分层主干，具进行渐进式 token 降维与通道扩展，以支持密集预测任务。
• 通过调整步幅、通道维、深度和扩张比，创建两组模型库（PVT 风格的 CycleMLP-B1..B5 和 Swin 风格的 CycleMLP-T/S/B）。
• 展示分辨率适应性并将 Cycle FC 与 Channel FC 与 MHSA 进行比较，突出稀疏性和感受野的优势。

实验结果

研究问题

• RQ1 Can Cycle FC provide a scalable, input-scale-agnostic operator for dense prediction tasks without self-attention?
• RQ2 Does a hierarchical CycleMLP backbone with Cycle FC blocks outperform existing MLP-like models and be competitive with CNN/Transformer backbones on detection, segmentation, and classification?
• RQ3 How does CycleMLP perform under varying input resolutions and multi-scale training strategies typical of dense prediction workloads?

主要发现

• CycleMLP-B2 在 ImageNet-1K 上以 27M 参数和 3.9G FLOPs 实现 81.6% 的 top-1 准确率，优于若干 MLP-风格模型。
• CycleMLP-B3/B4/B5 变体在 ImageNet-1K 上在无额外数据情况下实现与 Transformer 主干竞争或更优的结果，FLOPs 与参数量也更有利。
• 与等预算下的 ResNet 和 PVT 基线相比，基于 CycleMLP 的主干在 COCO 上提升对象检测和实例分割指标。
• 在 ADE20K 的语义分割中，CycleMLP-B2 和 CycleMLP-B3 的 mIoU 高于 ResNet/PVT 基线，在某些设置中接近或超过 Swin，并且如可视化所示具有比 Swin 更大的有效感受野。
• CycleMLP 在 ImageNet-C 的各种腐蚀类型上表现出强鲁棒性，在平均腐蚀误差方面超过了若干 Transformer 和其他基于 MLP 的模型。
• 消融研究证实三条并行 Cycle FC 分支对最佳性能的必要性，Cycle FC 在多项任务中优于 Channel FC 和 Spatial FC。