[论文解读] Visual Mamba: A Survey and New Outlooks

Rui Xu, Shu Yang+4 more|arXiv (Cornell University)|Apr 29, 2024

Impact of Light on Environment and Health被引用 33

一句话总结

对 Visual Mamba backbones 的全面综述，详细介绍它们的公式化、骨干网络设计、模态特定应用、挑战以及未来方向。

ABSTRACT

Mamba, a recent selective structured state space model, excels in long sequence modeling, which is vital in the large model era. Long sequence modeling poses significant challenges, including capturing long-range dependencies within the data and handling the computational demands caused by their extensive length. Mamba addresses these challenges by overcoming the local perception limitations of convolutional neural networks and the quadratic computational complexity of Transformers. Given its advantages over these mainstream foundation architectures, Mamba exhibits great potential to be a visual foundation architecture. Since January 2024, Mamba has been actively applied to diverse computer vision tasks, yielding numerous contributions. To help keep pace with the rapid advancements, this paper reviews visual Mamba approaches, analyzing over 200 papers. This paper begins by delineating the formulation of the original Mamba model. Subsequently, it delves into representative backbone networks, and applications categorized using different modalities, including image, video, point cloud, and multi-modal data. Particularly, we identify scanning techniques as critical for adapting Mamba to vision tasks, and decouple these scanning techniques to clarify their functionality and enhance their flexibility across various applications. Finally, we discuss the challenges and future directions, providing insights into new outlooks in this fast evolving area. A comprehensive list of visual Mamba models reviewed in this work is available at https://github.com/Ruixxxx/Awesome-Vision-Mamba-Models.

研究动机与目标

• 解释 Mamba 的公式以及它如何扩展结构化状态空间模型（SSMs）以实现基于上下文的推理。
• 总结具有代表性的 Visual Mamba backbones 及其架构模块（Vim、VMamba、Mamba-ND、PlainMamba、VSS、EVSS 等）。
• 按模态（图像、视频、点云、多模态）和任务（分类、检测、分割）对 Visual Mamba 应用进行分类。
• 识别挑战并提出将 Visual Mamba 应用于计算机视觉任务的未来方向。

提出的方法

• 给出 Mamba 的公式以及使参数成为输入（B、C、以及根据 x 而定的 Delta）函数的选择性 SSM 机制。
• 将 Mamba 模块描述为一个融合的、简化的 SSM-MLP 架构，在序列长度上具有线性可扩展性。
• 介绍 Visual Mamba backbone 变体（Vim、VMamba、Mamba-ND、PlainMamba、LocalMamba、EfficientVMamba、SiMBA）及它们的二维扫描策略（SS2D、zigzag、cross-scan 等）。
• 讨论分层与非分层骨干网，并对扫描模式、轴、连续性和采样进行分类。
• 通过具有代表性的基准测试和跨模态适应，概述骨干网性能影响。

实验结果

研究问题

• RQ1 核心的 Mamba 公式是什么，以及选择性 SSM 如何实现基于上下文的推理？
• RQ2 Visual Mamba backbones 如何将 1D 选择性扫描适配到 2D 图像数据，以及有哪些主要的架构变体？
• RQ3 哪些模态和视觉任务可以从 Visual Mamba backbones 中受益，以及关键的性能与效率权衡？
• RQ4 在将 Visual Mamba 推广到多样化的 CV 任务时会出现哪些挑战，以及设想的未来方向？

主要发现

• Visual Mamba 集成了选择性、输入驱动的 SSM 参数，以实现具有线性序列长度可扩展性的上下文推理。
• 多种视觉骨干网（Vim、VMamba、Mamba-ND、PlainMamba、LocalMamba、EVSS、SiMBA）在分类、检测和分割任务中表现出竞争力。
• Visual Mamba 骨干网采用多种 2D 扫描策略（SS2D、zigzag、cross-scan）来处理 2D 图像数据，在局部/全局信息与效率之间取得平衡。
• 混合式和非分层设计（如 PlainMamba、LocalMamba、EfficientVMamba）在精度、延迟和参数效率之间提供了不同的权衡。
• 在参考的仓库 (Awesome-Vision-Mamba-Models) 中维护了 Visual Mamba 模型及其应用的完整列表。
• 该综述强调挑战并概述数据使用、算法设计和硬件感知加速的未来方向。