[論文レビュー] SAM Meets Robotic Surgery: An Empirical Study on Generalization, Robustness and Adaptation

An Wang, Mobarakol Islam+3 more|arXiv (Cornell University)|Aug 14, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本研究は、重なり、反射、データ損傷などの複雑な条件下におけるゼロショット一般化の限界を明らかにした。この問題を解決するために、LoRA微調整を用いたSurgicalSAMを提案し、プロンプトなしで最先端の性能を達成した。クラス別マスク予測と外科的状況における耐性向上を実証した。

ABSTRACT

The Segment Anything Model (SAM) serves as a fundamental model for semantic segmentation and demonstrates remarkable generalization capabilities across a wide range of downstream scenarios. In this empirical study, we examine SAM's robustness and zero-shot generalizability in the field of robotic surgery. We comprehensively explore different scenarios, including prompted and unprompted situations, bounding box and points-based prompt approaches, as well as the ability to generalize under corruptions and perturbations at five severity levels. Additionally, we compare the performance of SAM with state-of-the-art supervised models. We conduct all the experiments with two well-known robotic instrument segmentation datasets from MICCAI EndoVis 2017 and 2018 challenges. Our extensive evaluation results reveal that although SAM shows remarkable zero-shot generalization ability with bounding box prompts, it struggles to segment the whole instrument with point-based prompts and unprompted settings. Furthermore, our qualitative figures demonstrate that the model either failed to predict certain parts of the instrument mask (e.g., jaws, wrist) or predicted parts of the instrument as wrong classes in the scenario of overlapping instruments within the same bounding box or with the point-based prompt. In fact, SAM struggles to identify instruments in complex surgical scenarios characterized by the presence of blood, reflection, blur, and shade. Additionally, SAM is insufficiently robust to maintain high performance when subjected to various forms of data corruption. We also attempt to fine-tune SAM using Low-rank Adaptation (LoRA) and propose SurgicalSAM, which shows the capability in class-wise mask prediction without prompt. Therefore, we can argue that, without further domain-specific fine-tuning, SAM is not ready for downstream surgical tasks.

研究の動機と目的

• 実世界の内視鏡データセットを用いて、ロボット手術におけるSAMのゼロショット一般化性と耐性を評価すること。
• バウンディングボックスやポイントベースのプロンプト、およびプロンプトなしの設定におけるSAMの性能を調査すること。
• ぼやけ、血液、反射などの外科的状況の複雑さやデータ損傷に対するSAMの耐性を評価すること。
• クラス別セグメンテーションが可能でプロンプトなしの領域適応型モデルSurgicalSAMを開発・検証すること。
• SurgicalSAMを最先端の教師ありモデルと比較し、手術器具セグメンテーションタスクにおける性能をベンチマークすること。

提案手法

• ViT-HベースのSAMを低ランク適応（LoRA）で微調整し、プロンプト入力を必要としない手術器具セグメンテーションに適応させた。
• 評価のため、手動でアノテートされたバウンディングボックスとセンター・ポイントプロンプトを備えたMICCAI EndoVisデータセット（2017年および2018年）を用いて適応を固定した。
• AdamW最適化法を用い、重み減衰、入力解像度512×512、およびバイナリおよび機器別セグメンテーション用の標準交差エントロピー損失を用いてSurgicalSAMを学習した。
• 合成的損傷（例：ぼやけ、ノイズ、霧、JPEGアーチファクト）の5段階の深刻度を用い、EndoVis18の検証スプリットで耐性を評価した。
• 14の最先端モデル（UNet、ISINet、S3Netなど）と定量比較のため、IoUとDice指標を用いた。
• 元のSAMが複雑な外科的状況で失敗するメカニズムを特定するために、プロンプトタイプと損傷レベルに関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 SAMは、特にポイントベースまたはプロンプトなしの設定において、微調整なしでロボット手術器具セグメンテーションに効果的に一般化できるか？
• RQ2 ぼやけ、ノイズ、霧、運動によるブレなどの現実的な外科的画像損傷下で、SAMの性能はいかがなっているか？
• RQ3 器具が重なったり、反射や影といった複雑なテクスチャを示したりする状況で、SAMの失敗モードは何か？
• RQ4 LoRAベースの微調整により、SAMが外科的状況でクラス認識可能かつプロンプトフリーなセグメンテーションを実現できるか？
• RQ5 微調整済みのSurgicalSAMは、mIoUと耐性の観点から、最先端の教師ありモデルと比較してどの程度の性能を示すか？

主な発見

• EndoVis18でバウンディングボックスプロンプトを使用した場合、SAMは71.38%のmIoUを達成し、単純な状況下での強力なゼロショット一般化性を示した。
• ポイントベースプロンプトまたはプロンプトなしの設定では、しばしばアームやジョイント部分を欠落させ、完全な器具のセグメンテーションに失敗した。
• データ損傷下では性能が著しく低下し、ガウスノイズの最高深刻度ではmIoUが3.79%に低下し、ぼやけの損傷下では4.26%まで低下した。
• SurgicalSAMは、プロンプトなしでEndoVis18検証スプリットで71.38%のmIoUを達成し、単一タスクで画像のみを入力とするアーキテクチャでありながら、最先端のモデルと同等の性能を示した。
• SurgicalSAMは追加パラメータとしてわずか18.28MBで実現可能であり、LoRA微調整戦略の高い効率性を示した。
• ぼやけや運動による損傷下で顕著な耐性低下が見られたため、さらなるドメイン適応の必要性が示唆された。