[論文レビュー] SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation

Zhaohu Xing, Ye Tian+3 more|arXiv (Cornell University)|Jan 24, 2024

Medical Image Segmentation Techniques被引用数 9

ひとこと要約

SegMamba は Mamba 状態空間ブロックを U 字型アーキテクチャで使用し、3D 医用画像の長距離依存性をモデル化。CNN およびトランスフォーマーのベースラインと比較して推論を効率化しつつ BraTS2023 のセグメンテーション性能を向上。

ABSTRACT

The Transformer architecture has shown a remarkable ability in modeling global relationships. However, it poses a significant computational challenge when processing high-dimensional medical images. This hinders its development and widespread adoption in this task. Mamba, as a State Space Model (SSM), recently emerged as a notable manner for long-range dependencies in sequential modeling, excelling in natural language processing filed with its remarkable memory efficiency and computational speed. Inspired by its success, we introduce SegMamba, a novel 3D medical image extbf{Seg}mentation extbf{Mamba} model, designed to effectively capture long-range dependencies within whole volume features at every scale. Our SegMamba, in contrast to Transformer-based methods, excels in whole volume feature modeling from a state space model standpoint, maintaining superior processing speed, even with volume features at a resolution of {$64 imes 64 imes 64$}. Comprehensive experiments on the BraTS2023 dataset demonstrate the effectiveness and efficiency of our SegMamba. The code for SegMamba is available at: https://github.com/ge-xing/SegMamba

研究の動機と目的

• 高解像度の3D医用画像におけるグローバルで長距離な依存関係をモデリングする動機付け。
• 複数スケールで全体ボリューム特徴を捉える Mamba ベースのエンコーダを提案する。
• 高精度なセグメンテーションのために skip 連結を備えた CNN ベースのデコーダを統合する。
• 大規模な3Dボリュームの訓練および推論時の高い効率性を維持する。

提案手法

• 3部構成の SegMamba アーキテクチャを導入する：複数ブロックを持つ Mamba ベースのエンコーダ、CNN ベースのデコーダ、そしてU字形のスキップ接続。
• Mamba ブロックの前に3D特徴を1Dの長いシーケンスに平坦化して、効率的な逐次モデリングを可能にし、次に sigma 演算を用いて3Dへ復元する。
• Section 2.1 の式で定義されるように、層正規化、Mamba ブロック、および残差風のブロック構造でMLPを使用する。
• 幹部を7x7x7 の深さ方向畳み込みでダウンサンプルして z^0 というマルチスケール特徴を生成し、Mamba ブロックを段階的に処理する。
• クロスエントロピー損失、SGD オプティマイザ、ポリノミアル学習率スケジュール、標準的なデータ拡張で訓練する；推論時にはテスト時拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 SegMamba は Transformer ベースのアプローチと比較して、Mamba を用いて3D医用ボリュームの長距離依存性を効率的にモデル化できるか？
• RQ2 SegMamba のエンコーダ–デコーダアーキテクチャは、BraTS2023 でのセグメンテーション精度を向上させつつ、高解像度（例: 64x64x64 の特徴マップ）で推論速度を維持できるか？

主な発見

• SegMamba は BraTS2023 で WT, TC, ET 全ての Dice スコアで最新技術の水準を達成（ WT: 93.61, TC: 92.65, ET: 87.71）および HD95（ WT: 3.37, TC: 3.85, ET: 3.48）。
• BraTS2023 の平均 Dice: 91.32%、平均 HD95: 4.01、報告された結果では CNN ベースおよび Transformer ベースのベースラインを上回る。
• Table 1 によれば、UX-Net および SwinUNETR-V2 と比較して平均 Dice がそれぞれ 1.63%、1.93% 上回る。
• 3D医用画像セグメンテーションにおける Mamba ベースの長距離モデリングの効率性を示し、高解像度（64x64x64）で競争力のある速度を維持。