[論文レビュー] SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation

Wenxi Yue, Jing Zhang+4 more|arXiv (Cornell University)|Aug 17, 2023

Medical Imaging and Analysis被引用数 4

ひとこと要約

SurgicalSAMは、明示的なプロンプトを軽量なプロトタイプベースのクラスプロンプトエンコーダーと対照的プロトタイプ学習に置き換えることで、手術器具のセグメンテーションを向上させる効率的でエンドツーエンドの微調整手法を提案する。このアプローチは、EndoVis2018およびEndoVis2017で最先端の性能を達成しており、微調整可能なパラメータはわずか4.65Mであり、手術分野におけるロバストネスと一般化性能を顕著に向上させる。

ABSTRACT

The Segment Anything Model (SAM) is a powerful foundation model that has revolutionised image segmentation. To apply SAM to surgical instrument segmentation, a common approach is to locate precise points or boxes of instruments and then use them as prompts for SAM in a zero-shot manner. However, we observe two problems with this naive pipeline: (1) the domain gap between natural objects and surgical instruments leads to inferior generalisation of SAM; and (2) SAM relies on precise point or box locations for accurate segmentation, requiring either extensive manual guidance or a well-performing specialist detector for prompt preparation, which leads to a complex multi-stage pipeline. To address these problems, we introduce SurgicalSAM, a novel end-to-end efficient-tuning approach for SAM to effectively integrate surgical-specific information with SAM's pre-trained knowledge for improved generalisation. Specifically, we propose a lightweight prototype-based class prompt encoder for tuning, which directly generates prompt embeddings from class prototypes and eliminates the use of explicit prompts for improved robustness and a simpler pipeline. In addition, to address the low inter-class variance among surgical instrument categories, we propose contrastive prototype learning, further enhancing the discrimination of the class prototypes for more accurate class prompting. The results of extensive experiments on both EndoVis2018 and EndoVis2017 datasets demonstrate that SurgicalSAM achieves state-of-the-art performance while only requiring a small number of tunable parameters. The source code is available at https://github.com/wenxi-yue/SurgicalSAM.

研究の動機と目的

• SAMにおける自然対象と手術器具との間のドメインギャップを解消し、ゼロショット一般化性能が低い問題を是正すること。
• 正確なバウンディングボックスやポイントプロンプトに依存することを排除し、ジャイタリングに敏感で複雑なマルチステージパイプラインを必要としないこと。
• 非常に類似した手術器具のカテゴリ間の識別性能を向上させるために、強化されたクラスプロトタイプ学習を実現すること。
• 最小限のパラメータ更新で効率的なエンドツーエンドのSAM微調整を可能にし、臨床応用における訓練および推論コストを低減すること。

提案手法

• 軽量なプロトタイプベースのクラスプロンプトエンコーダーが、明示的なポイントやボックスプロンプトを回避して、クラスプロトタイプから直接プロンプト埋め込みを生成する。
• この手法では、マスクデコーダーとプロトタイプエンコーダーのみを微調整し、ViT-H画像エンコーダーを固定することで効率性を確保する。
• 異なる器具クラス間の類似度を最小化し、同じクラス内での類似度を最大化することで、クラス間の識別性を向上させるために、対照的プロトタイプ学習を導入する。
• マスクデコーダーをガイドするために、スパース（プロトタイプベース）およびディンス（画像特徴）の両方のプロンプト埋め込みを用いることで、セグメンテーション精度を向上させる。
• クラスプロンプトエンコーダーは、画像特徴とクラスプロトタイプ間の類似度マップを計算し、関連する領域を活性化することで、正確な局所化を実現する。
• マスク損失とプロトタイプ対照的損失（$\mathcal{L}_{PCL}$）を組み合わせた損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 明示的なバウンディングボックスやポイントプロンプトに依存せずに、プロトタイプベースのプロンプトエンコーダーがゼロショット手術器具セグメンテーションを改善できるか？
• RQ2 対照的プロトタイプ学習は、非常に類似した手術器具カテゴリ間の識別性能をどのように向上させるか？
• RQ3 最小限のパラメータでエンドツーエンドのSAM微調整を実施した場合、手術セグメンテーションベンチマークでの性能向上はどの程度か？
• RQ4 プロンプトノイズやプロンプトの位置・スケールの変動に対して、提案手法はどの程度ロバストか？
• RQ5 スパースおよびディンスのプロンプト埋め込みを組み合わせることで、内視鏡手術におけるセグメンテーション精度にどのような影響を与えるか？

主な発見

• SurgicalSAMは、EndoVis2018データセットでChallenge IoUが80.33%、mc IoUが58.87%を達成し、新たな最先端性能を樹立した。
• アブレーションスタディの結果、ディンスプロンプト埋め込みを削除するとChallenge IoUが23.61%に低下し、その重要性が顕著に示された。
• スパースプロンプト埋め込みを削除した場合、Challenge IoUは78.58%に低下し、正確な局所化においてその重要性が裏付けられた。
• 対照的プロトタイプ学習手法は、CLIPベースのテキストプロンプトベースライン（Challenge IoU 75.94%）を上回る性能を示した。
• 繰り返し実験におけるランダムシードの変動に対して、Challenge IoUの標準偏差がわずか0.29にとどまり、高いロバストネスを示した。
• 微調整に使用されるパラメータはわずか4.65Mであり、低コストの訓練および推論を実現しながらも、高い性能を維持した。