[論文レビュー] SAMM (Segment Any Medical Model): A 3D Slicer Integration to SAM

Yihao Liu, Jiaming Zhang+3 more|arXiv (Cornell University)|Apr 12, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 23

ひとこと要約

SAMM は Segment Anything Model (SAM) を 3D Slicer と統合し、リアルタイム、プロンプトベースの医用画像セグメンテーションを実現し、セグメンテーションサイクルあたりのエンドツーエンド待機時間を約 0.6 秒達成。

ABSTRACT

The Segment Anything Model (SAM) is a new image segmentation tool trained with the largest available segmentation dataset. The model has demonstrated that, with prompts, it can create high-quality masks for general images. However, the performance of the model on medical images requires further validation. To assist with the development, assessment, and application of SAM on medical images, we introduce Segment Any Medical Model (SAMM), an extension of SAM on 3D Slicer - an image processing and visualization software extensively used by the medical imaging community. This open-source extension to 3D Slicer and its demonstrations are posted on GitHub (https://github.com/bingogome/samm). SAMM achieves 0.6-second latency of a complete cycle and can infer image masks in nearly real-time.

研究の動機と目的

• 医用画像領域へ一般的なセグメンテーションモデル（SAM）を適用する動機付け。
• ファインチューニングなしで医用画像セグメンテーションを促進する、3D Slicer 内のオープンソース統合（SAMM）を開発する。
• プロンプト駆動のワークフローを通じて、リアルタイムまたはほぼリアルタイムの対話型セグメンテーションを実現する。

提案手法

• SAM Server と 3D Slicer の対話型プロンプトプラグイン（Slicer-IPP）を備えた SAMM アーキテクチャを作成する。
• プロンプトを跨ぐ高速なリアルタイムマスク推論を可能にするため、画像スライスの埋め込みを事前計算・保存する。
• Slicer-IPP と SAM Server 間の高性能で非同期な通信に ZeroMQ と NumPy のメモリマッピングを使用する。
• 正確なマスク配置と可視化を保証するため、Slicer-IPP 内で 3D から 2D への座標変換（RAS/IJK）を扱う。
• リアルタイム応答性を維持するため、60 ms ループで 5 つの並行タスク（SND_INF, RCV_INF, CPL_INF, RCV_MSK, APL_MSK）を動作させる。
• 医用ボリューム上でのクロスモダリティ適用性（CT、MRI、US）とプロンプトベースのセグメンテーションを実証する。

Figure 1: Overall architecture of the integration of 3D Slicer and SAM. Images from different modalities, such as computed tomography (CT), magnetic resonance imaging (MRI), or ultrasound (US), are contained in a scalar volume node. The node (vtkMRMLScalarVolumeNode) is a class in the Visualization

実験結果

リサーチクエスチョン

• RQ1 3D Slicer ワークフローで医用画像のリアルタイムまたはほぼリアルタイムのセグメンテーションを SAMM は達成できるか？
• RQ2 埋め込みの事前計算が医用画像セグメンテーションタスクのエンドツーエンドのレイテンシにどう影響するか？
• RQ3 SAM は SAMM フレームワーク内で一般的な医用画像モダリティ（CT、MRI、US）に対してゼロショットセグメンテーションを実現できるか？
• RQ4 セグメンテーションサイクル中の初期化フェーズと安定フェーズのレイテンシの内訳と安定性はどのようか？

主な発見

• 埋め込み初期化後、テストされた MRI データセットでのセグメンテーションサイクルあたりのエンドツーエンドレイテンシは 0.612 秒。
• 352×352×240 の MRI 画像の埋め込み計算はテスト環境で 162.9 秒かかった。
• SAMM は CT、MRI、US 形式のゼロショットタスクのセグメンテーションマスクを生成できる。
• SAMM は五つの並行タスクと ZMQ および NumPy メモリマッピングによるリアルタイム通信で動作する。
• この統合はオープンソースで、医用画像セグメンテーション研究を促進するために 3D Slicer 内で実演された。
• 初期化フェーズは不安定性を示し、通常は約 5 秒後に安定化する。

Figure 2: The affiliation of five tasks, namely are “send inference request” (SND_ INF), “receive inference request” (RCV_ INF), “complete SAM inference” (CPL_ INF), “receive mask transmission” (RCV_ MSK), and “apply mask” (APL_ MSK). Slicer-IPP and SAM Server use ZMQ/Numpy memory mapping package to