[논문 리뷰] Segment Anything Model (SAM) for Digital Pathology: Assess Zero-shot Segmentation on Whole Slide Imaging

Ruining Deng, Can Cui외 14명|arXiv (Cornell University)|2023. 04. 09.

AI in cancer detection인용 수 96

한 줄 요약

본 연구는 전체 슬라이드 이미지에서 SAM의 제로샷 분할을 종양, 조직, 세포 핵 분할에 대해 평가하고, 큰 객체에서 강한 성능을 보이는 반면 밀집 인스턴스 분할에는 한계가 있으며 주요 제한점과 향후 파인튠 방향을 제시한다.

ABSTRACT

The segment anything model (SAM) was released as a foundation model for image segmentation. The promptable segmentation model was trained by over 1 billion masks on 11M licensed and privacy-respecting images. The model supports zero-shot image segmentation with various segmentation prompts (e.g., points, boxes, masks). It makes the SAM attractive for medical image analysis, especially for digital pathology where the training data are rare. In this study, we evaluate the zero-shot segmentation performance of SAM model on representative segmentation tasks on whole slide imaging (WSI), including (1) tumor segmentation, (2) non-tumor tissue segmentation, (3) cell nuclei segmentation. Core Results: The results suggest that the zero-shot SAM model achieves remarkable segmentation performance for large connected objects. However, it does not consistently achieve satisfying performance for dense instance object segmentation, even with 20 prompts (clicks/boxes) on each image. We also summarized the identified limitations for digital pathology: (1) image resolution, (2) multiple scales, (3) prompt selection, and (4) model fine-tuning. In the future, the few-shot fine-tuning with images from downstream pathological segmentation tasks might help the model to achieve better performance in dense object segmentation.

연구 동기 및 목표

• 한정된 라벨 데이터로 인해 디지털 병리에서 제로샷 분할의 필요성을 제기한다.
• 종양, 조직, 핵 분할을 위한 전체 슬라이드 이미징에서 SAM의 제로샷 성능을 평가한다.
• 고해상도, 다스케일, 밀집된 병리 작업에서의 SAM의 한계를 식별한다.
• WSI에서 밀집 객체 분할을 개선하기 위한 몇-shot 파인튜닝의 방향을 제시한다.

제안 방법

• 전체 슬라이드 이미지에서 다양한 프롬프트(단일 포인트, 20 포인트, 전체 포인트/박스)를 사용하여 SAM을 활용한다.
• 세 가지 작업(종양, 조직, 핵)에서 SAM을 최첨단 영역 특이 모델(SOTA)과 비교한다.
• SAM과의 호환을 위해 WSI를 스케일링하고 TCGA 피부암 WSIs, NEPTUNE 신장 패치, MoNuSeg 핵 데이터에서 프롬프트 전략을 평가한다.
• 모든 인스턴스에 포인트/박스를 두는 상한 프롬프트를 SAM 성능의 이론적 한계로 강조한다.
• 작업과 프롬프트 스킴 전반에 걸친 Dice 점수를 보고 제로샷 성능을 정량화한다.

실험 결과

연구 질문

• RQ1 제로샷 SAM가 WSI에서 큰 연결 병리 객체를 효과적으로 분할할 수 있는가?
• RQ2 다른 프롬프트 전략에서 종양, 조직, 핵 분할에서 SAM의 성능은 어떻게 되는가?
• RQ3 디지털 병리에서 SAM가 SOTA에 도달하는 것을 방해하는 주요 한계는 무엇인가?
• RQ4 Few-shot 또는 파인튜닝 방법이 WSI의 밀집 객체 분할 성능을 향상시킬 수 있는가?

주요 결과

• 제로샷 설정에서 디지털 병리에서 큰 연결 객체에 대한 강한 분할 성능을 보인다.
• 사진당 다수의 프롬프트에도 불구하고 밀집 인스턴스 객체 분할에 어려움을 겪는다.
• 종양, 조직, 핵 작업 전반에 걸쳐 SAM과 SOTA 도메인 특화 모델 간의 성능 격차가 존재한다.
• 한계로는 이미지 해상도, 다중 스케일 필요성, 프롬프트 선택의 품질, 도메인 데이터에 대한 파인튜닝 부재가 있다.
• 본 연구는 다운스트림 병리 분할 작업에서 몇-shot 파인튜닝으로 얻을 수 있는 잠재적 이점을 시사한다.