[論文レビュー] SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization

Yichi Zhang, Yang, Jin+3 more|arXiv (Cornell University)|Dec 11, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文では、一貫性正則化を通じて、セグメンテーション・アノテーションモデルの予測を用いてSAM（Segment Anything Model）のプロンプトを生成し、SAMと主モデル間の出力の一貫性を強制することで、半教師あり医療画像セグメンテーションを向上させるSemiSAMという手法を提案する。SAMを追加の監視ブランチとして活用することにより、特に1〜4例のラベル付きデータしか利用できない状況でも顕著な性能向上が達成され、ベースラインの半教師あり手法と比較して最大10.78%高いDiceスコアを達成した。

ABSTRACT

Semi-supervised learning has attracted much attention due to its less dependence on acquiring abundant annotations from experts compared to fully supervised methods, which is especially important for medical image segmentation which typically requires intensive pixel/voxel-wise labeling by domain experts. Although semi-supervised methods can improve the performance by utilizing unlabeled data, there are still gaps between fully supervised methods under extremely limited annotation scenarios. In this paper, we propose a simple yet efficient strategy to explore the usage of the Segment Anything Model (SAM) for enhancing semi-supervised medical image segmentation. Concretely, the segmentation model trained with domain knowledge provides information for localization and generating input prompts to the SAM. Then the generated pseudo-labels of SAM are utilized as additional supervision to assist in the learning procedure of the semi-supervised framework. Extensive experiments demonstrate that SemiSAM significantly improves the performance of existing semi-supervised frameworks when only one or a few labeled images are available and shows strong efficiency as a plug-and-play strategy for semi-supervised medical image segmentation.

研究の動機と目的

• 医療画像セグメンテーションにおける高いアノテーションコストの課題に取り組むこと、特に極めて限られたラベル付きデータしか利用できない状況を想定する。
• 基礎的モデル（例：SAM）が半教師あり学習フレームワークに統合され、専門家によるアノテーションデータへの依存を減らす方法を探ること。
• SAMによって生成された疑似ラベルを追加の監視信号として導入することで、既存の半教師ありセグメンテーションフレームワークの性能を向上させること。
• 低ショット医療画像セグメンテーションの文脈において、SAM支援の一貫性正則化の有効性を評価すること。

提案手法

• セグメンテーションモデルが、未ラベル画像に対する自身の予測に基づいて、SAM用の局所化情報およびプロンプト点を生成する。
• 生成されたプロンプトを用いて、SAMが同じ画像の疑似ラベルを出力し、それが追加の監視信号として利用される。
• セグメンテーションモデルの予測とSAMの疑似ラベルの間で一貫性正則化損失を適用し、出力を一致させる。
• Mean Teacher や Uncertainty-Aware Mean Teacher などの既存の半教師ありフレームワークに本手法を統合する。
• 人為的プロンプト作成を回避し、モデルが生成するプロンプトを用いることで、人間の介入なしにゼロショットに近いガイドラインを実現する。
• ラベル付きデータに対する教師あり損失、未ラベルデータに対する一貫性損失、およびSAMに基づく一貫性正則化損失を組み合わせ、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 極めて少ない人為的アノテーションデータしか利用できない状況において、SAMを追加の監視源として効果的に活用できるか？
• RQ2 低ショット設定下で、SAM支援の一貫性正則化は、標準的な半教師あり手法と比較してセグメンテーション性能をどのように向上させるか？
• RQ3 より多くのラベル付き画像が利用可能になると、SAM統合による性能向上が薄れるか？
• RQ4 自動生成されたプロンプトの品質が、訓練プロセスにおけるSAMの疑似ラベルの信頼性にどのように影響するか？

主な発見

• 1例のラベル付きデータでのみ使用した場合、DiceスコアはベースラインのMean Teacherの30.60%からSemiSAMでは41.38%に上昇し、相対的に10.78%の向上を達成した。
• 2例のラベル付きデータを使用した場合、Diceスコアは58.17%から69.46%に上昇し、11.29%の改善を示した。
• 4例のラベル付きデータを使用した場合、Diceスコアは72.40%から80.42%に上昇し、ベースライン比8.02%の改善を達成した。
• SAMによる性能向上は、データ量が少ない状況で顕著であり、8例以上のラベル付き画像が利用可能になるとその効果が薄れた。
• 同じ数のプロンプトを用いた場合、SAMによる疑似ラベルは従来のインタラクティブなSAM手法を上回る性能を示し、自動プロンプト生成の利点を裏付けた。
• 95% Hausdorff Distance（95HD）とAverage Surface Distance（ASD）の両方を低減したため、境界の正確性が向上した。