[論文レビュー] A Comprehensive Survey of Mamba Architectures for Medical Image Analysis: Classification, Segmentation, Restoration and Beyond

Shubhi Bansal, A Sreeharish+7 more|arXiv (Cornell University)|Oct 3, 2024

AI in cancer detection被引用数 9

ひとこと要約

医用画像解析のためのMamba状態空間モデルの総合的調査であり、アーキテクチャ、最適化、スキャン機構、マルチモーダル機能、およびセグメンテーション、分類、修復への適用を詳述する。

ABSTRACT

Mamba, a special case of the State Space Model, is gaining popularity as an alternative to template-based deep learning approaches in medical image analysis. While transformers are powerful architectures, they have drawbacks, including quadratic computational complexity and an inability to address long-range dependencies efficiently. This limitation affects the analysis of large and complex datasets in medical imaging, where there are many spatial and temporal relationships. In contrast, Mamba offers benefits that make it well-suited for medical image analysis. It has linear time complexity, which is a significant improvement over transformers. Mamba processes longer sequences without attention mechanisms, enabling faster inference and requiring less memory. Mamba also demonstrates strong performance in merging multimodal data, improving diagnosis accuracy and patient outcomes. The organization of this paper allows readers to appreciate the capabilities of Mamba in medical imaging step by step. We begin by defining core concepts of SSMs and models, including S4, S5, and S6, followed by an exploration of Mamba architectures such as pure Mamba, U-Net variants, and hybrid models with convolutional neural networks, transformers, and Graph Neural Networks. We also cover Mamba optimizations, techniques and adaptations, scanning, datasets, applications, experimental results, and conclude with its challenges and future directions in medical imaging. This review aims to demonstrate the transformative potential of Mamba in overcoming existing barriers within medical imaging while paving the way for innovative advancements in the field. A comprehensive list of Mamba architectures applied in the medical field, reviewed in this work, is available at Github.

研究の動機と目的

• Mambaと構造化状態空間系列モデル（SSMs）を説明し、それらが医用画像に関連する理由を説明する。
• 純粋なMamba、U-Netの派生、および医用画像タスクで使用されるハイブリッドアーキテクチャをカタログ化し分析する。
• Mambaを医療機関で効率的にするための最適化、トレーニング戦略、マルチモーダル/適応技術について論じる。
• セグメンテーション、分類、再構成にわたるデータセット、実験、応用を要約する。
• 医用画像でのMambaの制限と将来の方向性を強調する。

提案手法

• コアSSM概念（A、B、C、D行列；離散化）と主要な派生形（S4、S5、S6）を定義する。
• 選択的スキャンとハードウェア志向の実装を含むMambaアーキテクチャの構成要素を説明する。
• 純粋Mamba、ViM、VMamba、Plain Mamba、VSS/SS2Dブロック、および多数のMambaベースのUNet派生を調査する。
• スキャン機構、最適化（軽量/効率的な設計）、学習パラダイム（弱教師付き/半教師付き/自己教師付き、マルチモーダル）を論じる。
• アーキテクチャ系統（純粋Mamba、UNet派生、ハイブリッド）を分類し、セグメンテーション、分類、再構成、登録にわたる実験的発見を要約する。

Figure 1 . Evolution of Mamba from State Space Models (SSMs)

実験結果

リサーチクエスチョン

• RQ1 Mambaを支えるコアState Space Model概念は何か、Transformersと比較してスケーラビリティと長距離依存性の扱いはどうか。
• RQ2 純粋、UNet派生、ハイブリッドとして医用画像分析タスク（セグメンテーション、分類、再構成）に対してMambaアーキテクチャはどのように適応されてきたか。
• RQ3 医用画像設定でMambaを効率的にする最適化とトレーニング戦略は何か。
• RQ4 Mambaの有効性を医用画像分野で示すデータセットと実験結果は何か。
• RQ5 医療分野におけるMambaの制限と将来の方向性は何と特定されているか。

主な発見

• Mambaは2次のアテンション計算量を線形時間に変換し、アテンション機構なしで長いシーケンス処理を実現する。
• 純粋Mamba、ViM、VMamba、VSS/SS2Dブロック、およびUNetハイブリッドなど、医用画像タスク向けの幅広いアーキテクチャが提案されている。
• CNNs、Vision Transformers、およびMambaブロックを組み合わせたハイブリッドモデルは、メモリ使用量を削減しつつ競争力のある性能を示す。
• スキャン機構、選択的メカニズム、および高次のSS2D派生は、2D/3Dの医用画像の効率的なモデリングに寄与する。
• 多様なデータセットと応用がレビューされ、医療文脈における制限と今後の方向性について議論される。

Figure 3 . Publication Trend of Mamba Research in the Medical Domain