[論文レビュー] Segment Anything Model (SAM) for Digital Pathology: Assess Zero-shot Segmentation on Whole Slide Imaging

Ruining Deng, Can Cui+14 more|arXiv (Cornell University)|Apr 9, 2023

AI in cancer detection被引用数 96

ひとこと要約

本論文は、腫瘍、組織、細胞核のセグメンテーションを対象として、SAM のゼロショットセグメンテーションを全スライド病理画像で評価し、大きなオブジェクトに対しては高い性能を示す一方、密度の高いインスタンスセグメンテーションには限界があることを強調し、主要な制約と将来の微調整の方向性を概説している。

ABSTRACT

The segment anything model (SAM) was released as a foundation model for image segmentation. The promptable segmentation model was trained by over 1 billion masks on 11M licensed and privacy-respecting images. The model supports zero-shot image segmentation with various segmentation prompts (e.g., points, boxes, masks). It makes the SAM attractive for medical image analysis, especially for digital pathology where the training data are rare. In this study, we evaluate the zero-shot segmentation performance of SAM model on representative segmentation tasks on whole slide imaging (WSI), including (1) tumor segmentation, (2) non-tumor tissue segmentation, (3) cell nuclei segmentation. Core Results: The results suggest that the zero-shot SAM model achieves remarkable segmentation performance for large connected objects. However, it does not consistently achieve satisfying performance for dense instance object segmentation, even with 20 prompts (clicks/boxes) on each image. We also summarized the identified limitations for digital pathology: (1) image resolution, (2) multiple scales, (3) prompt selection, and (4) model fine-tuning. In the future, the few-shot fine-tuning with images from downstream pathological segmentation tasks might help the model to achieve better performance in dense object segmentation.

研究の動機と目的

• ラベル付きデータが不足しているため、デジタル病理におけるゼロショットセグメンテーションを動機づける。
• 腫瘍、組織、核のセグメンテーションのための全スライド画像に対する SAM のゼロショット性能を評価する。
• 高解像度・マルチスケール・密に詰まった病理タスクにおける SAM の制約を特定する。
• WSI における密なオブジェクトセグメンテーションを改善するための少数ショット微調整の方向性を提案する。

提案手法

• 全スライド画像上で、さまざまなプロンプト（単一点、20 点、総点/ボックス）を用いて SAM を適用する。
• 3つのタスク（腫瘍、組織、核）で、SAM を最先端のドメイン特化モデルと比較する。
• WSIs を SAM との互換性を持たせるようにスケールし、TCGA skin cancer WSIs、NEPTUNE renal patches、MoNuSeg nuclei データでプロンプト戦略を評価する。
• 上限プロンプト（すべてのインスタンスに点/ボックスを置く）を、SAM の性能の理論的限界として強調する。
• タスクとプロンプト方式ごとの Dice スコアを報告し、ゼロショット性能を定量化する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット SAM は WSI で大きく連結した病理学的オブジェクトを効果的にセグメントできるか。
• RQ2 さまざまなプロンプト戦略で、腫瘍、組織、核のセグメンテーションに対する SAM の性能はどうか。
• RQ3 デジタル病理で SAM が SOTA に到達するのを妨げる主な制約は何か。
• RQ4 少数ショットや微調整のアプローチは、WSI の密なオブジェクトセグメンテーションの SAM の性能を改善できるか。

主な発見

• ゼロショット設定下で、デジタル病理における大きな連結オブジェクトのセグメンテーションにおいて、SAM は高い性能を示す。
• 多数のプロンプトを用いても、密なインスタンスオブジェクトのセグメンテーションは難しい。
• 腫瘍、組織、核のタスクで、SAM と SOTA ドメイン特化モデルの間に性能差が存在する。
• 制約には画像解像度、マルチスケールのニーズ、プロンプト選択の品質、ドメインデータの微調整不足が含まれる。
• 本研究は、下流の病理セグメンテーションタスクにおける少数ショット微調整による潜在的な向上を示唆している。