[论文解读] MorphMLP: An Efficient MLP-Like Backbone for Spatial-Temporal Representation Learning

David Junhao Zhang, Kunchang Li+6 more|arXiv (Cornell University)|Nov 24, 2021

Human Pose and Action Recognition被引用 5

一句话总结

MorphMLP 提出了一种无需自注意力机制、类似 MLP 的骨干网络用于视频表征学习，其采用两种专用的全连接层——MorphFC_s 用于渐进式空间建模，MorphFC_t 用于时序依赖学习，在显著降低计算量的同时实现了最先进（SOTA）的准确率，优于 VideoSwin 和 MViT 等模型，在相近的 FLOP 预算下表现更优。

ABSTRACT

Recently, MLP-Like networks have been revived for image recognition. However, whether it is possible to build a generic MLP-Like architecture on video domain has not been explored, due to complex spatial-temporal modeling with large computation burden. To fill this gap, we present an efficient self-attention free backbone, namely MorphMLP, which flexibly leverages the concise Fully-Connected (FC) layer for video representation learning. Specifically, a MorphMLP block consists of two key layers in sequence, i.e., MorphFC_s and MorphFC_t, for spatial and temporal modeling respectively. MorphFC_s can effectively capture core semantics in each frame, by progressive token interaction along both height and width dimensions. Alternatively, MorphFC_t can adaptively learn long-term dependency over frames, by temporal token aggregation on each spatial location. With such multi-dimension and multi-scale factorization, our MorphMLP block can achieve a great accuracy-computation balance. Finally, we evaluate our MorphMLP on a number of popular video benchmarks. Compared with the recent state-of-the-art models, MorphMLP significantly reduces computation but with better accuracy, e.g., MorphMLP-S only uses 50% GFLOPs of VideoSwin-T but achieves 0.9% top-1 improvement on Kinetics400, under ImageNet1K pretraining. MorphMLP-B only uses 43% GFLOPs of MViT-B but achieves 2.4% top-1 improvement on SSV2, even though MorphMLP-B is pretrained on ImageNet1K while MViT-B is pretrained on Kinetics400. Moreover, our method adapted to the image domain outperforms previous SOTA MLP-Like architectures. Code is available at https://github.com/MTLab/MorphMLP.

研究动机与目标

• 探索在该领域尚无先前工作的前提下，是否能够有效将类似 MLP 的架构扩展至视频表征学习。
• 解决在不依赖自注意力机制的前提下捕捉视频帧中分层空间语义的挑战。
• 设计一种高效的时序建模机制，以极低的计算成本捕捉跨帧的长程依赖关系。
• 在视频分类任务中，相比现有视觉 Transformer 和 CNN 模型，实现更优的准确率-计算权衡。
• 验证所提出的架构在图像识别和语义分割任务中的泛化能力。

提出的方法

• MorphMLP 采用一种新颖的模块架构，由两个顺序组件构成：用于空间建模的 MorphFC_s 和用于时序建模的 MorphFC_t。
• MorphFC_s 通过在高度和宽度维度上的分层标记交互，逐步扩展感受野，实现多尺度空间特征学习。
• MorphFC_t 将每个空间位置上所有帧的特征聚合为一个时序块，随后通过全连接层处理以建模长程时序依赖。
• 空间与时序模块按顺序堆叠，构建深层 MorphMLP 骨干网络，并在空间模块后应用跳跃残差连接以稳定训练。
• 该方法通过用分解的、渐进的和自适应的全连接操作替代自注意力机制，避免了自注意力的使用，从而在保持表征能力的同时显著降低 FLOPs。
• 通过移除时序维度，该架构可适配图像任务，在 ImageNet-1K 和 ADE20K 上均表现出强劲性能。

实验结果

研究问题

• RQ1 一种无需自注意力机制、类似 MLP 的架构是否能有效学习视频数据中的时空表征？
• RQ2 在空间建模中，分层且渐进的标记交互相比全局 MLP 或卷积操作，如何提升特征学习能力？
• RQ3 全连接层是否能以更低的计算成本有效替代自注意力机制，用于建模视频中的长程时序依赖？
• RQ4 在视频 MorphMLP 中，如何配置最优的架构（如操作顺序、残差连接等）以在准确率与效率之间实现最佳平衡？
• RQ5 当移除时序维度后，所提出的 MorphMLP 架构在图像识别和分割任务中是否具有良好的泛化能力？

主要发现

• 在 ImageNet1K 预训练条件下，MorphMLP-S 在 Kinetics400 上的 Top-1 准确率比 VideoSwin-T 高 0.9%，但仅使用其 50% 的 GFLOPs。
• MorphMLP-B 在 SSV2 上的 Top-1 准确率比 MViT-B 高 2.4%，尽管其 GFLOPs 仅占 43%，且在 ImageNet1K 上预训练而非 Kinetics400。
• 在 ImageNet-1K 上，MorphFC_s 比标准的 3×3 和 7×7 卷积高出 2.3–2.4% 的 Top-1 准确率，证明其在捕捉长程空间上下文方面的优越性。
• 在 SSV1 上，MorphFC_t 显著优于 3×1×1 和 5×1×1 时序卷积，分别达到 50.6%、47.9% 和 48.6% 的 Top-1 准确率。
• 按顺序先应用 MorphFC_s 再应用 MorphFC_t，并加入跳跃残差连接，可获得最佳性能，优于并行或其它顺序配置。
• 完整版 MorphMLP 模型的训练速度优于 SOTA 模型如 SlowFast 和 Timesformer，在 GPU 小时数方面具有更低的训练成本，同时保持或超越其准确率。