[论文解读] Mixing and Shifting: Exploiting Global and Local Dependencies in Vision MLPs

Huangjie Zheng, Pengcheng He+2 more|arXiv (Cornell University)|Feb 14, 2022

Neural Networks and Applications被引用 6

一句话总结

该论文提出了一种视觉MLP架构——Mix-Shift-MLP（MS-MLP），通过空间位移动态增大感受野大小，联合建模局部与全局依赖关系，实现在细粒度与粗粒度区域之间的高效令牌混合。MS-MLP在ImageNet-1K上达到83.8%的top-1准确率，参数量为85M，在目标检测与分割任务中相较Swin和Focal Transformers提升0.5–0.7%。

ABSTRACT

Token-mixing multi-layer perceptron (MLP) models have shown competitive performance in computer vision tasks with a simple architecture and relatively small computational cost. Their success in maintaining computation efficiency is mainly attributed to avoiding the use of self-attention that is often computationally heavy, yet this is at the expense of not being able to mix tokens both globally and locally. In this paper, to exploit both global and local dependencies without self-attention, we present Mix-Shift-MLP (MS-MLP) which makes the size of the local receptive field used for mixing increase with respect to the amount of spatial shifting. In addition to conventional mixing and shifting techniques, MS-MLP mixes both neighboring and distant tokens from fine- to coarse-grained levels and then gathers them via a shifting operation. This directly contributes to the interactions between global and local tokens. Being simple to implement, MS-MLP achieves competitive performance in multiple vision benchmarks. For example, an MS-MLP with 85 million parameters achieves 83.8% top-1 classification accuracy on ImageNet-1K. Moreover, by combining MS-MLP with state-of-the-art Vision Transformers such as the Swin Transformer, we show MS-MLP achieves further improvements on three different model scales, e.g., by 0.5% on ImageNet-1K classification with Swin-B. The code is available at: https://github.com/JegZheng/MS-MLP.

研究动机与目标

• 为解决现有基于MLP的模型在不使用自注意力机制的情况下，难以同时捕捉局部与全局视觉依赖关系的问题。
• 设计一种简单而有效的机制，实现在视觉MLP中灵活的多尺度令牌混合。
• 在保持低计算成本的同时，提升在ImageNet-1K、COCO和ADE20K等视觉基准上的性能。
• 证明MS-MLP可作为强大的主干网络或模块，进一步提升SOTA视觉Transformer模型的性能。

提出的方法

• MS-MLP引入一种多尺度区域混合机制，其中令牌混合的感受野大小随查询令牌的相对空间距离增加而增大。
• 通过空间位移聚合来自邻近与远距离区域的信息，实现局部与全局特征之间的交互。
• 该方法采用可学习的位移操作，重新组织特征图，以实现跨不同尺度区域的通信。
• 该架构将区域混合集成到标准MLP模块中，保持结构简洁与计算高效。
• 采用分层设计，包含多个阶段，每个阶段均应用位移与区域混合，逐步捕获不同粒度的依赖关系。
• 模型在标准视觉基准上使用标准优化协议进行端到端训练。

实验结果

研究问题

• RQ1 一种无自注意力机制的MLP架构能否有效同时建模局部与全局视觉依赖关系？
• RQ2 基于空间距离动态调整感受野大小，对视觉任务性能有何影响？
• RQ3 结合位移的区域混合是否优于纯局部或纯全局混合？
• RQ4 当作为主干网络或模块使用时，MS-MLP在多大程度上可提升现有视觉Transformer的性能？
• RQ5 该方法在实现与大规模视觉基准竞争性准确率的同时，是否能保持高吞吐量？

主要发现

• MS-MLP在8500万参数下于ImageNet-1K上达到83.8%的top-1准确率，性能与Focal-Attention-B相当，但吞吐量更高。
• 在RetinaNet目标检测任务中，MS-MLP相较SOTA MLP模型Hire-MLP-L与WaveMLP-B分别提升0.6%与1.5%。
• 与Swin Transformers结合时，MS-MLP在多个尺度下使分类准确率提升0.5–0.7%，目标检测性能提升0.2–0.5%。
• 消融实验证实，感受野随距离递增的区域混合优于孤立的局部或全局混合，尤其在小patch尺寸下优势更明显。
• 该方法在不同patch尺寸下均保持优异性能，与MS-MLP结合后，Swin-T在patch size为2和4时分别提升0.5%与0.3%。
• MS-MLP在实例分割与语义分割任务中持续提升Swin与Focal Transformers的性能，在COCO上提升0.1–0.3%，在ADE20K上提升0.2–0.5%。