[논문 리뷰] SAM on Medical Images: A Comprehensive Study on Three Prompt Modes

Dongjie Cheng, Ziyuan Qin외 4명|arXiv (Cornell University)|2023. 04. 28.

COVID-19 diagnosis using AI인용 수 55

한 줄 요약

이 논문은 Segment Anything Model (SAM)을 의료 영상에서 세 가지 프롬프트 모드(auto, box, point)를 사용해 12개의 공용 데이터셋에 대해 평가하고, 박스 프롬프트가 제로샷 성능에서 가장 우수하다고 나타났으며, 박스 크기의 지터 및 프롬프트 포인트 수가 결과에 상당한 영향을 미친다고 밝혔다.

ABSTRACT

The Segment Anything Model (SAM) made an eye-catching debut recently and inspired many researchers to explore its potential and limitation in terms of zero-shot generalization capability. As the first promptable foundation model for segmentation tasks, it was trained on a large dataset with an unprecedented number of images and annotations. This large-scale dataset and its promptable nature endow the model with strong zero-shot generalization. Although the SAM has shown competitive performance on several datasets, we still want to investigate its zero-shot generalization on medical images. As we know, the acquisition of medical image annotation usually requires a lot of effort from professional practitioners. Therefore, if there exists a foundation model that can give high-quality mask prediction simply based on a few point prompts, this model will undoubtedly become the game changer for medical image analysis. To evaluate whether SAM has the potential to become the foundation model for medical image segmentation tasks, we collected more than 12 public medical image datasets that cover various organs and modalities. We also explore what kind of prompt can lead to the best zero-shot performance with different modalities. Furthermore, we find that a pattern shows that the perturbation of the box size will significantly change the prediction accuracy. Finally, Extensive experiments show that the predicted mask quality varied a lot among different datasets. And providing proper prompts, such as bounding boxes, to the SAM will significantly increase its performance.

연구 동기 및 목표

• 세 가지 프롬프트 모드(auto, box, point)를 사용하여 의료 영상 분할에 대한 SAM의 제로샷 일반화 성능을 평가한다.
• 다양한 의료 영상 모달리티에서 어떤 프롬프트 모드가 최고의 성능을 제공하는지 식별한다.
• 프롬프트 설계(box 크기, 지터, 포인트 수)가 분할 정확도에 어떤 영향을 미치는지 분석한다.
• 향후 의료 기초 모델 개발을 가이드하기 위해 서로 다른 데이터셋과 모달리티에서 SAM 성능의 변동성을 탐구한다.

제안 방법

• CT, X-ray, MRI, Endoscopy, Ultrasound, 및 OCT에 걸친 12개의 공개 의료 영상 데이터세트를 수집한다.
• 자동 프롬프트(auto-prompt), 박스 프롬프트(box-prompt), 포인트 프롬프트(point-prompt)의 세 가지 프롬프트 모드에서 SAM을 평가한다.
• 박스 프롬프트의 경우 로 ground-truth 기반 경계 상자를 다양한 지터 스케일로 입력하여 강건성을 연구한다.
• 포인트 프롬프트의 경우, 단일 포인트, 3포인트, 10포인트 프롬프트를 테스트하여 프롬프트 밀도가 제로샷 성능에 미치는 영향을 관찰한다.
• 동일 데이터셋에서 최첨단 감독 방법과 SAM 제로샷 결과를 비교한다.
• 지터 및 프롬프트 구성 정보가 다이스 점수와 분할 품질에 미치는 영향을 분석한다.

Figure 1: Segmentation results with different prompt modes

실험 결과

연구 질문

• RQ1 다양한 의료 영상 데이터세트에서 어떤 SAM 프롬프트 모드가 가장 높은 제로샷 다이스 점수를 내는가?
• RQ2 프롬프트 설계 선택(박스 지터, 포인트 수)이 의료 영상에서 SAM의 분할 정확도에 어떤 영향을 미치는가?
• RQ3 모달리티와 데이터세트에 걸친 SAM의 제로샷 성능 변동성은 감독 방법과 비교하여 어떤가?

주요 결과

• 제로 지터를 가진 박스 프롬프트 모드가 일반적으로 평가된 의료 데이터 세트 전반에서 가장 좋은 평균 다이스를 제공한다.
• 박스 프롬프트의 지터를 증가시키면 분할 정확도가 저하되며, 이는 박스 크기 및 위치 추정에 대한 민감도를 나타낸다.

Figure 2: We show the pattern of dice changing with different level of jitter over most of the datasets.