[論文レビュー] MambaMIR: An Arbitrary-Masked Mamba for Joint Medical Image Reconstruction and Uncertainty Estimation

Jiahao Huang, Liutao Yang+6 more|arXiv (Cornell University)|Feb 28, 2024

Medical Imaging and Analysis被引用数 11

ひとこと要約

MambaMIR は、GAN派生の Mamba-based モデルで、任意マスク機構を用いて fast MRI と sparse-view CT のタスクで Monte Carlo ベースの不確実性マップを実現する医療画像再構成と不確実性推定を同時に行う。

ABSTRACT

The recent Mamba model has shown remarkable adaptability for visual representation learning, including in medical imaging tasks. This study introduces MambaMIR, a Mamba-based model for medical image reconstruction, as well as its Generative Adversarial Network-based variant, MambaMIR-GAN. Our proposed MambaMIR inherits several advantages, such as linear complexity, global receptive fields, and dynamic weights, from the original Mamba model. The innovated arbitrary-mask mechanism effectively adapt Mamba to our image reconstruction task, providing randomness for subsequent Monte Carlo-based uncertainty estimation. Experiments conducted on various medical image reconstruction tasks, including fast MRI and SVCT, which cover anatomical regions such as the knee, chest, and abdomen, have demonstrated that MambaMIR and MambaMIR-GAN achieve comparable or superior reconstruction results relative to state-of-the-art methods. Additionally, the estimated uncertainty maps offer further insights into the reliability of the reconstruction quality. The code is publicly available at https://github.com/ayanglab/MambaMIR.

研究の動機と目的

• 医用画像再構成と不確実性推定のために Mamba を動機づけ、拡張する。
• 頑健な再構成とグローバル受容野を備える Arbitrary-Masked State Space (AMSS) ブロックと AMS6 を導入する。
• トレーニングと推論時のスキャンをランダムマスクすることによる Monte Carlo ベースの不確実性推定を可能にする。
• 複数の解剖領域にまたがる fast MRI と sparse-view CT で競争力の再構成品質を示す。
• 再構成の知覚品質を向上させる GAN バリアント（MambaMIR-GAN）を提供する。

提案手法

• 高解像度の医用画像のために線形計算量とグローバル受容野を備えた Mamba を採用する。
• Arbitrary-Masked S6 (AMS6) Block からなる Scan Expanding、Arbitrary-Masked、S6、Scan Merging モジュールを導入する。
• 各グループに2つの AMSS Blocks を用いた AMSS Block Groups と残差接続を用いる。
• 画像ドメイン Charbonnier ロス、変換ドメイン Charbonnier ロス、VGG 潜在空間での知覚ロスを組み合わせた損失で訓練する。GAN モードでは U-Net 判別器による対立ロスを追加。
• MambaMIR-GAN を Generator として、U-Net 判別器と対向訓練目標を持つ。
• FastMRI 膝関節と Low-Dose CT SVCT データセットで評価し、最先端手法と比較。

実験結果

リサーチクエスチョン

• RQ1 MambaMIR は fast MRI と SVCT タスクで最先端手法と同等かそれ以上の再構成品質を達成できるか？
• RQ2 Arbitrary-mask 機構は再構成画像に対して意味のある Monte Carloベースの不確実性推定を可能にするか？
• RQ3 GANベースの対向訓練（MambaMIR-GAN）を取り入れると、忠実度を損なうことなく再構成の知覚品質が向上するか？
• RQ4 膝、胸部、腹部など異なる解剖領域と加速/ビュサンプリング設定で MambaMIR と MambaMIR-GAN はどのように性能を発揮するか？

主な発見

• MambaMIR および MambaMIR-GAN は fast MRI および SVCT タスク全体で最先端手法と比較して同等または優れた再構成結果を達成する。
• MambaMIR-GAN は特に高い加速因子で MambaMIR よりも知覚スコア（LPIPS）を向上させる傾向がある。
• Arbitrary-masked 機構によって生成される不確実性マップは再構成の信頼性に関する視覚的洞察を提供し、MRI の高い加速で不確実性が高くなる。
• SVCT では MambaMIR および MambaMIR-GAN の両方が報告されたサブセットで SSIM と PSNR で他の全手法を上回り、MambaMIR-GAN は競争力のある LPIPS 性能を示す。
• GAN の統合は知覚品質を向上させ、対向訓練の下で不確実性マップに領域特異的な変動を生じさせる可能性があり、頑健な再構成を示唆する。