[論文レビュー] MedLSAM: Localize and Segment Anything Model for 3D CT Images

Wenhui Lei, Wei Xu+3 more|arXiv (Cornell University)|Jun 26, 2023

Medical Imaging and Analysis被引用数 8

ひとこと要約

MedLSAM は MedLAM によるターゲット解剖の局在化を経て SAM/MedSAM を適用することで 3D CT 画像分割を自動化し、最小限の手動プロンプトでほぼ SAM の性能を達成します。

ABSTRACT

Recent advancements in foundation models have shown significant potential in medical image analysis. However, there is still a gap in models specifically designed for medical image localization. To address this, we introduce MedLAM, a 3D medical foundation localization model that accurately identifies any anatomical part within the body using only a few template scans. MedLAM employs two self-supervision tasks: unified anatomical mapping (UAM) and multi-scale similarity (MSS) across a comprehensive dataset of 14,012 CT scans. Furthermore, we developed MedLSAM by integrating MedLAM with the Segment Anything Model (SAM). This innovative framework requires extreme point annotations across three directions on several templates to enable MedLAM to locate the target anatomical structure in the image, with SAM performing the segmentation. It significantly reduces the amount of manual annotation required by SAM in 3D medical imaging scenarios. We conducted extensive experiments on two 3D datasets covering 38 distinct organs. Our findings are twofold: 1) MedLAM can directly localize anatomical structures using just a few template scans, achieving performance comparable to fully supervised models; 2) MedLSAM closely matches the performance of SAM and its specialized medical adaptations with manual prompts, while minimizing the need for extensive point annotations across the entire dataset. Moreover, MedLAM has the potential to be seamlessly integrated with future 3D SAM models, paving the way for enhanced segmentation performance. Our code is public at \href{https://github.com/openmedlab/MedLSAM}

研究の動機と目的

• 3D 医用画像分割における注釈作業負荷を削減するため、SAM ベースモデルのプロンプト生成を自動化する。
• 組織とデータセットを横断して一般化する統一的な 3D 局在基盤モデル（MedLAM）を開発する。
• MedLAM を SAM/MedSAM と統合し、手動プロンプトなしで自律的な分割を実現する。
• 複数の臓器とデータセットで局在化と分割の性能を評価し、一般化と効率を示す。

提案手法

• Large-scale 14,012 CT scans データセットを用いた MedLAM のトレーニング（2 つの自己教師ありタスク：Unified Anatomical Mapping（UAM）と Multi-Scale Similarity（MSS））を実施。
• 3D オフセット予測とパッチレベル特徴整合を介して統一された 3D 潜在座標系で解剖学的構造を表現する。
• Sub-Patch Localization（SPL）を適用して slice-wise の 3D bbox プロンプトを生成し、各スライスのより正確なプロンプトを作成する。
• 生成された 3D bbox プロンプトを用いて各スライスの 2D bbox を生成し、それを SAM/MedSAM に入力してセグメンテーションを行う。
• 既存の医療適応版 SAM（MedSAM）を活用して、生成されたプロンプトでバックボーン分割を実行する。
• 2 つの CT データセット（StructSeg19 HaN および WORD abdomen）で 38 臓器にわたって学習・評価を実施し、5-shot 局在化評価と全自動化を評価する。

Fig. 1 : The overall segmentation pipeline of MedLSAM operates as follows. Given a dataset of any size, MedLSAM first applies a localization process (MedLAM) to identify the six extreme points (in the z, x, and y directions) of any anatomical structure of interest. This process results in the genera

実験結果

リサーチクエスチョン

• RQ1 MedLAM は 多様なデータセットで少数のプロンプトだけで 3D CT スキャンの任意の解剖構造を局在化できるか？
• RQ2 MedLAM の局在化は、手動プロンプトを伴う SAM/MedSAM に匹敵する、またはそれを上回る完全自動化の MedLSAM 分割を実現できるか？
• RQ3 SPL は、頑健な 3D 分割のための per-slice プロンプト生成において WPL と比較してどうか？
• RQ4 スケールと自己教師あり学習が、患者間の局在化および分割性能に与える影響はどの程度か？
• RQ5 統合された MedLAM+SAM/MedSAM システムは、未見の臓器やデータセットにどれだけ一般化できるか？

主な発見

• MedLAM は少数のテンプレートスキャンを用いて任意の解剖構造を局在化でき、いくつかの完全教師付き局在化モデルを上回ることがある。
• MedLSAM は、データセット全体で極端点アノテーションを最小限に抑えつつ、SAM および医療適応版と同等の性能を達成する。
• 本アプローチは 38 臓器に拡張可能で、2 つの 3D CT データセットで局在化と分割の強力な結果を示し、手動プロンプトを削減する。
• MedLAM の局在化の利点は SAM/MedSAM との統合時にも持続し、自律的な 3D 分割を競争力のある精度で実現する。
• 著者は公的コードとモデルを提供し、3D SAM モデルとの今後の導入を促進する。

Fig. 2 : The learning process of MedLAM.