[論文レビュー] Vision Mamba: A Comprehensive Survey and Taxonomy

Xiao Liu, Chenxu Zhang+1 more|arXiv (Cornell University)|May 7, 2024

Global Maritime and Colonial Histories被引用数 34

ひとこと要約

Vision Mambaという、視覚のための状態空間モデルに基づくアーキテクチャ群「Vision Mamba」の総合的な調査と分類。一般的なビジョン、マルチモーダル、垂直ドメインのタスクを網羅する。

ABSTRACT

State Space Model (SSM) is a mathematical model used to describe and analyze the behavior of dynamic systems. This model has witnessed numerous applications in several fields, including control theory, signal processing, economics and machine learning. In the field of deep learning, state space models are used to process sequence data, such as time series analysis, natural language processing (NLP) and video understanding. By mapping sequence data to state space, long-term dependencies in the data can be better captured. In particular, modern SSMs have shown strong representational capabilities in NLP, especially in long sequence modeling, while maintaining linear time complexity. Notably, based on the latest state-space models, Mamba merges time-varying parameters into SSMs and formulates a hardware-aware algorithm for efficient training and inference. Given its impressive efficiency and strong long-range dependency modeling capability, Mamba is expected to become a new AI architecture that may outperform Transformer. Recently, a number of works have attempted to study the potential of Mamba in various fields, such as general vision, multi-modal, medical image analysis and remote sensing image analysis, by extending Mamba from natural language domain to visual domain. To fully understand Mamba in the visual domain, we conduct a comprehensive survey and present a taxonomy study. This survey focuses on Mamba's application to a variety of visual tasks and data types, and discusses its predecessors, recent advances and far-reaching impact on a wide range of domains. Since Mamba is now on an upward trend, please actively notice us if you have new findings, and new progress on Mamba will be included in this survey in a timely manner and updated on the Mamba project at https://github.com/lx6c78/Vision-Mamba-A-Comprehensive-Survey-and-Taxonomy.

研究の動機と目的

• 視覚データと長距離依存性に状態空間モデルを適用する動機を明らかにする。
• 一般的なビジョン、マルチモーダル、および垂直ドメインのタスクにわたるVision Mambaのバリアントを体系的に分類する。
• 視覚のためのSSMs、Mamba、およびHiPPOベースのコンポーネントのアーキテクチャ原理を説明する。
• データタイプとハイライト属性を含む分類を提供し、研究者が適切なMambaバリアントを選択するのを支援する。
• リモートセンシングと医用画像解析における応用と進展を総括する。

提案手法

• 状態空間モデル（SSMs）とS4のシーケンスツーシーケンスマッピングの定式化を説明する。
• 入力依存のB、C、Deltaを持つSelective State Space Models（S6）を導入し、コンテンツ認識処理を可能にする。
• 効率的な並列計算とメモリ管理を実現するハードウェア配慮型の状態展開を提示する。
• General Vision、Low-level Vision、3D Vision、およびMulti-ModalドメインにわたるVision Mambaバリアントの分類を提案する。
• リモートセンシングと医用画像診断における垂直ドメイン応用を、データタイプとハイライトのカテゴライズとともに議論する。

実験結果

リサーチクエスチョン

• RQ1 視覚データにおける長距離依存性モデリングを進展させる上で、SSMsとMambaの役割は何か？
• RQ2 Vision Mambaのバリアントを、一般的なビジョン、マルチモーダルタスク、および垂直ドメインでの実用的な適用を支援する分類体系にどう整理できるか？
• RQ3 Vision Mambaにおける選択的スキャンとハードウェア配慮設計のアーキテクチャ上および効率のトレードオフは何か？
• RQ4 リモートセンシングおよび医用画像解析におけるVision Mambaのバリアントは、従来のバックボーンと比較してどのように性能を発揮するか？

主な発見

• Vision Mambaバリアントは、線形複雑性を活用し、視覚タスクにおける強力な長距離依存性のモデリングを実現します。
• 選択機構（S6）とハードウェア配慮型の状態展開により、データ依存の処理と効率的な計算を実現します。
• 一般的なビジョン、マルチモーダル、垂直ドメインの応用にわたる広範な分類は、Mambaバリアントとデータタイプを整理します。
• Imagen分類とビジョンのベンチマークは、複数の設定でCNNsおよびTransformerと競合する性能を示します。
• リモートセンシングと医用画像のための特化したMambaバリアントは、高解像度入力やマルチモーダルデータ統合といった領域特有の課題に対応します。
• ハイブリッドCNN–Mambaモデルおよび転移学習志向のバリアント（例：V-Mamba、DGMamba）は、いくつかの設定で一般化能力と安定性の向上を示します。