[论文解读] An Image Patch is a Wave: Phase-Aware Vision MLP

Yehui Tang, Kai Han+5 more|arXiv (Cornell University)|Nov 24, 2021

Advanced Neural Network Applications参考文献 43被引用 5

一句话总结

该论文提出Wave-MLP，一种新颖的视觉MLP架构，通过动态相位调制将每个图像块表示为具有波动特性的信号，以提升标记聚合效果。通过引入可学习的相位项以适应输入语义，Wave-MLP在图像分类、目标检测和语义分割任务上均达到最先进性能，优于参数量相当的SOTA MLP与Transformer模型。

ABSTRACT

In the field of computer vision, recent works show that a pure MLP architecture mainly stacked by fully-connected layers can achieve competing performance with CNN and transformer. An input image of vision MLP is usually split into multiple tokens (patches), while the existing MLP models directly aggregate them with fixed weights, neglecting the varying semantic information of tokens from different images. To dynamically aggregate tokens, we propose to represent each token as a wave function with two parts, amplitude and phase. Amplitude is the original feature and the phase term is a complex value changing according to the semantic contents of input images. Introducing the phase term can dynamically modulate the relationship between tokens and fixed weights in MLP. Based on the wave-like token representation, we establish a novel Wave-MLP architecture for vision tasks. Extensive experiments demonstrate that the proposed Wave-MLP is superior to the state-of-the-art MLP architectures on various vision tasks such as image classification, object detection and semantic segmentation. The source code is available at https://github.com/huawei-noah/CV-Backbones/tree/master/wavemlp_pytorch and https://gitee.com/mindspore/models/tree/master/research/cv/wave_mlp.

研究动机与目标

• 为解决视觉MLP中固定权重标记混合的局限性，该方法无法根据输入中变化的语义内容自适应调整。
• 通过受波动力学启发的相位调制，改进图像标记之间的动态信息聚合。
• 设计一种轻量化、高效的架构，使其在多种视觉任务中超越现有MLP与Transformer主干网络的性能表现。
• 通过相位感知聚合机制，实现MLP在密集预测任务（如目标检测与语义分割）中的高效应用。

提出的方法

• 每个图像块被表示为复值波，包含实值振幅（原始特征）与单位复值相位。
• 通过简单操作（如深度可分离卷积或通道全连接层）构建可学习的相位估计模块，根据输入语义动态生成每个标记的相位值。
• 相位感知的标记混合模块（PATM）计算加权聚合，其中标记间的相位差调制交互强度。
• 相位调制使语义内容相似的标记在聚合过程中相互增强，从而提升特征表示能力。
• Wave-MLP架构通过交替使用相位感知标记混合与通道混合MLP模块，实现分层特征学习。
• 该方法限制为局部窗口聚合，以兼容密集预测任务，避免全局连接带来的计算负担。

实验结果

研究问题

• RQ1 动态相位调制是否能超越固定权重聚合，在视觉MLP中提升标记交互效果？
• RQ2 基于相位的调制机制在图像分类、目标检测与语义分割任务中的性能表现如何？
• RQ3 在准确率与效率之间权衡下，相位估计的最佳形式化表达为何种？
• RQ4 在密集预测任务中，局部窗口聚合与全局聚合相比有何差异？

主要发现

• Wave-MLP-S在ImageNet上达到82.6%的Top-1准确率，FLOPs为4.5G，优于相同计算量下的Swin-T（81.3%）。
• 在语义分割任务中，Wave-MLP-S达到44.4%的mIoU，较PVT-Tiny（39.8%）高出4.6个百分点。
• 消融实验表明，若移除相位信息，Top-1准确率下降至78.8%，证明相位信息的关键作用。
• 使用通道全连接（channel-FC）进行相位估计相比基线模型提升1.8%准确率，优于深度可分离卷积与恒等投影。
• 窗口大小为7时，性能可媲美全局聚合，但参数量显著减少，适用于密集预测任务。
• 可视化结果表明，语义相似的标记（如“房屋”）表现出更小的相位差，并呈现更强的相互增强效应。