[論文レビュー] Visual Mamba: A Survey and New Outlooks

Rui Xu, Shu Yang+4 more|arXiv (Cornell University)|Apr 29, 2024

Impact of Light on Environment and Health被引用数 33

ひとこと要約

ビジュアルMambaバックボーンの包括的な調査で、定式化、バックボーン設計、モダリティ別の適用、課題、将来の方向性を詳述。

ABSTRACT

Mamba, a recent selective structured state space model, excels in long sequence modeling, which is vital in the large model era. Long sequence modeling poses significant challenges, including capturing long-range dependencies within the data and handling the computational demands caused by their extensive length. Mamba addresses these challenges by overcoming the local perception limitations of convolutional neural networks and the quadratic computational complexity of Transformers. Given its advantages over these mainstream foundation architectures, Mamba exhibits great potential to be a visual foundation architecture. Since January 2024, Mamba has been actively applied to diverse computer vision tasks, yielding numerous contributions. To help keep pace with the rapid advancements, this paper reviews visual Mamba approaches, analyzing over 200 papers. This paper begins by delineating the formulation of the original Mamba model. Subsequently, it delves into representative backbone networks, and applications categorized using different modalities, including image, video, point cloud, and multi-modal data. Particularly, we identify scanning techniques as critical for adapting Mamba to vision tasks, and decouple these scanning techniques to clarify their functionality and enhance their flexibility across various applications. Finally, we discuss the challenges and future directions, providing insights into new outlooks in this fast evolving area. A comprehensive list of visual Mamba models reviewed in this work is available at https://github.com/Ruixxxx/Awesome-Vision-Mamba-Models.

研究の動機と目的

• Mambaの定式化を説明し、それが文脈に基づく推論のために構造化状態空間モデル（SSMs）を拡張する方法を説明する。
• 代表的なVisual Mambaバックボーンとそのアーキテクチャブロック（Vim, VMamba, Mamba-ND, PlainMamba, VSS, EVSS, など）を要約する。
• モダリティ（画像、動画、点群、多モーダル）とタスク（分類、検出、セマンティブ）別に視覚Mambaの適用を分類する。
• Visual Mambaをコンピュータビジョンのタスクに適用する際の課題を特定し、将来の方向性を提案する。

提案手法

• Mambaの定式化と、入力（x）に応じてパラメータを関数とする選択的SSM機構を提示する。
• シーケンス長の線形スケーラビリティを持つ、線形結合可能なSSM-MLPアーキテクチャとしてのMambaブロックを説明する。
• ビジュアルMambaバックボーンのバリアント（Vim, VMamba, Mamba-ND, PlainMamba, LocalMamba, EfficientVMamba, SiMBA）と、それらの2D走査戦略（SS2D、ジグザグ、クロススキャン、等）を導入する。
• 階層的 vs 非階層的バックボーンを論じ、走査モード、軸、連続性、サンプリングを分類する。
• 代表的なベンチマークとクロスモダリティ適応を通じて、バックボーンの性能影響を要約する。

実験結果

リサーチクエスチョン

• RQ1 コアなMamba定式化は何であり、選択的SSMは文脈ベースの推論をどう解決するのか。
• RQ2 視覚的Mambaバックボーンは1Dの選択的走査をどのように2D画像データに適用し、主なアーキテクチャバリアントは何か。
• RQ3 どのモダリティと視覚タスクがVisual Mambaバックボーンから恩恵を受け、主要な性能と効率のトレードオフは何か。
• RQ4 多様なCVタスクへVisual Mambaをスケールさせる際に生じる課題は何で、将来の方向性はどのように描かれているか。

主な発見

• Visual Mambaは、入力駆動の選択的SSMパラメータを統合し、線形のシーケンス長スケーラビリティを持つ文脈ベースの推論を可能にする。
• 複数の視覚バックボーン（Vim, VMamba, Mamba-ND, PlainMamba, LocalMamba, EVSS, SiMBA）は、分類、検出、セグメンテーションタスクで競争力のある性能を示す。
• Visual Mambaバックボーンは2D走査戦略（SS2D, ジグザグ, クロススキャン）を採用して2D画像データを扱い、局所情報と全体情報のバランスと効率を調整する。
• ハイブリッドおよび非階層的設計（例：PlainMamba, LocalMamba, EfficientVMamba）は、精度、待機時間、パラメータ効率の間で異なるトレードオフを提供する。
• 視覚Mambaモデルとその適用の包括的リストは参照リポジトリ（Awesome-Vision-Mamba-Models）に保持されている。
• この調査は課題を浮き彫りにし、データ利用、アルゴリズム設計、ハードウェア対応の加速の将来方向性を概説する。