[论文解读] MorphMLP: A Self-Attention Free, MLP-Like Backbone for Image and Video

David Junhao Zhang, Kunchang Li+6 more|arXiv (Cornell University)|Nov 24, 2021

Advanced Neural Network Applications参考文献 72被引用 8

一句话总结

MorphMLP 提出了一种无需自注意力机制、类似 MLP 的主干网络，通过一种新型的可变形全连接层（MorphFC）在浅层增强局部特征学习，并在深层逐步转向长程建模。该模型在图像和视频任务中的性能与基于自注意力的模型相当或更优。

ABSTRACT

Self-attention has become an integral component of the recent network architectures, e.g., Transformer, that dominate major image and video benchmarks. This is because self-attention can flexibly model long-range information. For the same reason, researchers make attempts recently to revive Multiple Layer Perceptron (MLP) and propose a few MLP-Like architectures, showing great potential. However, the current MLP-Like architectures are not good at capturing local details and lack progressive understanding of core details in the images and/or videos. To overcome this issue, we propose a novel MorphMLP architecture that focuses on capturing local details at the low-level layers, while gradually changing to focus on long-term modeling at the high-level layers. Specifically, we design a Fully-Connected-Like layer, dubbed as MorphFC, of two morphable filters that gradually grow its receptive field along the height and width dimension. More interestingly, we propose to flexibly adapt our MorphFC layer in the video domain. To our best knowledge, we are the first to create a MLP-Like backbone for learning video representation. Finally, we conduct extensive experiments on image classification, semantic segmentation and video classification. Our MorphMLP, such a self-attention free backbone, can be as powerful as and even outperform self-attention based models.

研究动机与目标

• 为解决现有类似 MLP 的架构在捕捉局部细节以及逐步理解图像/视频特征方面的局限性。
• 设计一种无需自注意力机制的主干网络，以有效建模图像和视频中的局部与长程依赖关系。
• 提出一种新型全连接类层（MorphFC），其具有可变形滤波器，可自适应地在空间维度上扩展感受野。
• 将 MorphMLP 架构扩展至视频表征学习，使其成为首个用于视频的类似 MLP 的主干网络。
• 在图像和视频基准测试中，实现与基于自注意力模型相当或更优的性能。

提出的方法

• 引入一种 MorphFC 层，其包含两个可变形滤波器，可在网络深度增加过程中动态扩展其在高度和宽度方向的感受野。
• 设计 MorphFC 层，使其在浅层优先进行局部特征提取，并在深层逐步转向长程建模。
• 通过将空间变形扩展至时间维度，实现 MorphFC 层在视频领域的灵活适应。
• 通过堆叠 MorphFC 层构建完整的 MorphMLP 架构，且不使用自注意力机制。
• 在图像和视频分类、语义分割及其他基准上端到端训练 MorphMLP。
• 采用空间与时间特征融合策略，以在视频任务中保持表征能力。

实验结果

研究问题

• RQ1 类似 MLP 的架构是否能有效捕捉浅层的局部细节，同时在深层逐步建模长程依赖？
• RQ2 无需自注意力机制的 MorphMLP 主干网络在图像和视频理解任务中的性能与基于注意力的模型相比如何？
• RQ3 MorphFC 层是否能灵活适应视频表征学习？其在时空建模中是否保持强性能？
• RQ4 MorphFC 中的可变形滤波器机制是否能带来优于标准 MLP 或全连接层的特征学习效果？
• RQ5 MorphMLP 是否能在不使用自注意力机制的情况下，在图像和视频基准中实现最先进或具有竞争力的结果？

主要发现

• MorphMLP 在图像分类基准上的性能与基于自注意力的模型相当或更优。
• 该模型在语义分割任务中表现出色，表明其在局部与全局特征学习方面均有效。
• 在视频分类任务中，MorphMLP 取得具有竞争力的结果，确立了其作为首个用于视频表征的类似 MLP 主干网络的地位。
• MorphFC 层成功捕捉了浅层的局部细节，并在深层实现了向长程建模的过渡。
• MorphFC 在视频领域的灵活适应，使得无需自注意力机制即可实现有效的时空特征学习。
• 大量消融实验验证了可变形滤波器设计与渐进式建模策略的有效性。