[論文レビュー] SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge for Semi-Supervised Learning in Medical Image Segmentation

Yizhe Zhang, Tao Zhou+4 more|arXiv (Cornell University)|Aug 26, 2023

AI in cancer detection被引用数 6

ひとこと要約

SamDSKは、最小限のラベル付きデータを用いて医療画像セグメンテーションを向上させるために、セグメント・アトゥ・アニー・モデル（SAM）とドメイン固有の知識（DSK）を組み合わせた反復的で半教師あり学習フレームワークを提案する。SAMが生成するプロポーザルとピクセルレベル／画像レベルのDSKとの最適マッチングを用いることで、段階的にラベル付きデータセットを拡張し、10%のラベル付きデータのみで乳がん、ポリープ、皮膚 lesion セグメンテーションにおいて最先端の性能を達成した。

ABSTRACT

The Segment Anything Model (SAM) exhibits a capability to segment a wide array of objects in natural images, serving as a versatile perceptual tool for various downstream image segmentation tasks. In contrast, medical image segmentation tasks often rely on domain-specific knowledge (DSK). In this paper, we propose a novel method that combines the segmentation foundation model (i.e., SAM) with domain-specific knowledge for reliable utilization of unlabeled images in building a medical image segmentation model. Our new method is iterative and consists of two main stages: (1) segmentation model training; (2) expanding the labeled set by using the trained segmentation model, an unlabeled set, SAM, and domain-specific knowledge. These two stages are repeated until no more samples are added to the labeled set. A novel optimal-matching-based method is developed for combining the SAM-generated segmentation proposals and pixel-level and image-level DSK for constructing annotations of unlabeled images in the iterative stage (2). In experiments, we demonstrate the effectiveness of our proposed method for breast cancer segmentation in ultrasound images, polyp segmentation in endoscopic images, and skin lesion segmentation in dermoscopic images. Our work initiates a new direction of semi-supervised learning for medical image segmentation: the segmentation foundation model can be harnessed as a valuable tool for label-efficient segmentation learning in medical image segmentation.

研究の動機と目的

• ラベル付き医療画像が限られている課題に対処するため、豊富なラベルなしデータを半教師あり学習を用いて活用すること。
• セグメント・アトゥ・アニー・モデル（SAM）とドメイン固有の知識（DSK）を統合し、ラベルなし医療画像に対する信頼性の高い仮ラベル作成を実現すること。
• SAMとDSKを用いてラベル付きデータセットを拡張する同時トレーニングと反復的学習を可能にするフレームワークを開発すること。
• 基礎モデルの予測とタスク固有の制約を統合することで、低ショット設定におけるセグメンテーション性能を向上させること。
• 多様な画像モodalitiesに適用可能な、堅牢でラベル効率の良い医療画像セグメンテーション手法を確立すること。

提案手法

• 本手法は反復的な二段階プロセスを用いる：(1) 初期ラベル付きデータセット上でセグメンテーションモデルを訓練し、(2) ラベルなし画像を用いてラベル付きデータセットを拡張する。
• 段階（2）では、訓練済みモデルがピクセルレベルのDSK（セグメンテーション確率マップ）を生成する一方、画像レベルのDSKは1枚の画像あたりの予想される領域の数などの制約を課す。
• SAMは各ラベルなし画像に対してセグメンテーションプロポーザルを生成し、それらが新しいマッチングベースのアノテーション構築手法を用いてDSKと最適にマッチングされる。
• 最適マッチングプロセスは、モデルの予測とドメイン固有の制約の両方に最も適合する高品質なプロポーザルを選択する。
• 拡張されたラベル付きデータセットを用いてセグメンテーションモデルを再訓練し、追加のサンプルが追加されないまでこのプロセスを繰り返す。
• フレームワークは、SAMのゼロショット一般化能力と医療ドメインの事前知識を統合することで、仮ラベルの品質とモデルのロバスト性を向上させる。

Figure 1: A high-level comparison between a conventional approach (left) and our proposed SamDSK (right) for semi-supervised learning (SSL) in medical image segmentation.

実験結果

リサーチクエスチョン

• RQ1 SAMをドメイン固有の知識と効果的に組み合わせることで、医療画像セグメンテーションにおける仮ラベル品質を向上させることができるか？
• RQ2 DSKを拡張した仮ラベルを用いた反復的モデル再訓練が、データが少ない状況下でのセグメンテーション性能にどのように影響するか？
• RQ3 SAMのプロポーザルとDSKとの最適マッチングが、不確実性ベースや信頼度ベースの選択に比べて、サンプル拡張において優れているか？
• RQ4 超音波、内視鏡、皮膚顕微鏡画像など、異なる医療画像モダリティにおけるSAMの性能はどのように変化するか？
• RQ5 画像レベルとピクセルレベルのDSKを統合することで、SAM単体よりも一貫性があり正確なセグメンテーションアノテーションが得られるか？

主な発見

• SamDSKは、ラベル付きデータの10%のみを用いて、超音波画像における乳がんセグメンテーションで最先端の性能を達成し、ベースラインおよび他のSSL手法と比較して顕著なmIoUの向上を示した。
• 内視鏡画像におけるポリープセグメンテーションでは、最適マッチングで選択された上位10%のサンプルで95%のmIoUを達成し、高品質な仮ラベル選択の有効性を示した。
• ISIC 2018データセットにおける皮膚 lesion セグメンテーションでは、SamDSKは他の手法を上回り、ラベル付きデータの10%のみを用いても、最高品質の選択サンプルで92%のmIoUを達成した。
• βスコアを用いた最適マッチングベースの選択は、モデルの不確実性や信頼度に基づく選択を上回り、セグメンテーション品質において統計的に有意な向上を示した。
• ポリープセグメンテーションでは、SAMが生成したプロポーザルが正解とマッチした際のDice係数は89.1%であったが、悪性乳がん症例では64.4%にとどまり、モダリティ依存の性能差が示された。
• 複数ラウンドの反復的プロセスは、すべてのデータセットで一貫してモデル性能を向上させ、SamDSKフレームワークの安定性とスケーラビリティを確認した。

Figure 2: The main steps of our proposed SamDSK method. Step-0 to step-4 are repeated iteratively until a certain criterion is met (e.g., no more samples are added to the labeled set). Step-0 may need to run only once if SAM remains unchanged during the process.