[論文レビュー] Unleashing the Potential of SAM2 for Biomedical Images and Videos: A Survey

Yichi Zhang, Zhenrong Shen|arXiv (Cornell University)|Aug 23, 2024

Image Processing Techniques and Applications被引用数 4

ひとこと要約

本調査は、プロンプト駆動型画像および動画セグメンテーションの基盤モデルであるSAM2を、生物学的画像および動画に適応・応用する方法を調査する。SAM2のゼロショットおよびファインチューニング性能を、多様な医療画像処理タスクにおいて評価し、アノテーション負荷の低減可能性を強調するとともに、信頼性のある臨床応用のため、自然画像と医療画像の分布のギャップを埋めるためにファインチューニングによるドメイン適応が不可欠であると指摘する。

ABSTRACT

The unprecedented developments in segmentation foundational models have become a dominant force in the field of computer vision, introducing a multitude of previously unexplored capabilities in a wide range of natural images and videos. Specifically, the Segment Anything Model (SAM) signifies a noteworthy expansion of the prompt-driven paradigm into the domain of image segmentation. The recent introduction of SAM2 effectively extends the original SAM to a streaming fashion and demonstrates strong performance in video segmentation. However, due to the substantial distinctions between natural and medical images, the effectiveness of these models on biomedical images and videos is still under exploration. This paper presents an overview of recent efforts in applying and adapting SAM2 to biomedical images and videos. The findings indicate that while SAM2 shows promise in reducing annotation burdens and enabling zero-shot segmentation, its performance varies across different datasets and tasks. Addressing the domain gap between natural and medical images through adaptation and fine-tuning is essential to fully unleash SAM2's potential in clinical applications. To support ongoing research endeavors, we maintain an active repository that contains up-to-date SAM & SAM2-related papers and projects at https://github.com/YichiZhang98/SAM4MIS.

研究の動機と目的

• 多様な生物学的画像および動画データセットにおけるゼロショットおよびフェイシュットセグメンテーションにおけるSAM2の有効性を評価すること。
• SAM2の事前学習に用いられた自然画像（自然画像）と医療画像（低コントラスト、境界が不明瞭）との間のドメインギャップが引き起こす課題を特定すること。
• 3D医療画像を2Dスライスの動画シーケンスとして扱うことで、SAM2を用いた3D医療画像への適用におけるパフォーマンスを評価すること。
• ファインチューニング、プロンプト最適化、医療用途に特化したアーキテクチャなどの最近の適応戦略を調査すること。
• 手術動画や病理画像を含む臨床応用におけるSAM2の可能性と限界を包括的に概説すること。

提案手法

• 3D医療画像を連続する2Dスライスのシーケンスとして扱い、SAM2の動画セグメンテーション機能を活用する。
• クリック、バウンディングボックス、またはセグメンテーションのヒントを用いたプロンプトベースの推論を適用し、SAM2のマスク生成を誘導する。
• SAM2のストリーミングメモリ機構を活用して、動画フレーム間の時間的整合性を維持する。
• 医療データセット上でドメイン固有のファインチューニングを実施し、自然画像と医療画像の間のドメインギャップを低減する。
• KANベースの分類器（SAM2-PATH内）や効率的フレームプルーニング（SurgSAM-2内）などの特別なモジュールを統合してパフォーマンスを向上させる。
• SAMおよびSAM2関連の生物学的医療研究を追跡・整理するための公開リポジトリ（https://github.com/YichiZhang98/SAM4MIS）を維持する。

実験結果

リサーチクエスチョン

• RQ1 SAM2は、生物学的画像および動画におけるゼロショットセグメンテーションにおいて、教師ありモデルと比較してどの程度の性能を示すか？
• RQ2 SAM2を用いて2Dスライスのシーケンスとして扱うことで、3D医療画像を効果的にセグメンテーションできるか？
• RQ3 画像特性の違い（例：低コントラスト、境界が不明瞭）によって、SAM2を医療画像に直接適用する際に生じる主な課題は何か？
• RQ4 ファインチューニングおよびアーキテクチャの適応は、医療画像セグメンテーションタスクにおけるSAM2のパフォーマンス向上にどの程度効果的か？
• RQ5 手術動画、コロノスコピー、デジタル病理学などの臨床分野において、最も有望なアプリケーション固有のSAM2の適応策は何か？

主な発見

• SAM2は、医療動画セグメンテーションタスクにおいて強力なゼロショット性能を示しており、一部のケースでは最先端モデルに近い結果を達成している。
• 2Dおよび3D医療画像におけるパフォーマンスは、データセットによって顕著に異なるが、特に低コントラストまたは境界が弱い領域では、教師あり手法との間で顕著なギャップが生じている。
• ファインチューニングおよびドメイン固有の適応（例：BioSAM2、MedSAM-2、SAM2-PATH）により、セグメンテーションの正確性が著しく向上し、人為的プロンプトへの依存度も低下した。
• MedSAM-2に実装されたワンプロンプトセグメンテーション機能により、同じ解剖的構造を複数の画像で一貫してセグメンテーションすることが可能になった。
• SAM2を用いた手術動画のセグメンテーションは可能ではあるが、出血、オクルージョン、モーションブラーなどの現実世界のアーティファクトに起因する課題がある。
• SAM2のパフォーマンスは、静的画像セグメンテーションよりも動画タスクで顕著に優れており、これは自然画像と医療動画データの間のドメインギャップが小さいことに起因すると考えられる。