[논문 리뷰] Computer-Vision Benchmark Segment-Anything Model (SAM) in Medical Images: Accuracy in 12 Datasets

Sheng He, Rina Bao외 5명|arXiv (Cornell University)|2023. 04. 18.

Radiomics and Machine Learning in Medical Imaging인용 수 65

한 줄 요약

이 연구는 12개의 공공 의료 영상 분할 데이터셋에서 제로샷 SAM을 평가하고, SAM이 5개의 데이터셋 특화 의료 분할 모델에 비해 성능이 떨어지며, 차원, 대상 크기, 대비와 같은 요인에 의해 성능이 영향을 받는다.

ABSTRACT

Background: The segment-anything model (SAM), introduced in April 2023, shows promise as a benchmark model and a universal solution to segment various natural images. It comes without previously-required re-training or fine-tuning specific to each new dataset. Purpose: To test SAM's accuracy in various medical image segmentation tasks and investigate potential factors that may affect its accuracy in medical images. Methods: SAM was tested on 12 public medical image segmentation datasets involving 7,451 subjects. The accuracy was measured by the Dice overlap between the algorithm-segmented and ground-truth masks. SAM was compared with five state-of-the-art algorithms specifically designed for medical image segmentation tasks. Associations of SAM's accuracy with six factors were computed, independently and jointly, including segmentation difficulties as measured by segmentation ability score and by Dice overlap in U-Net, image dimension, size of the target region, image modality, and contrast. Results: The Dice overlaps from SAM were significantly lower than the five medical-image-based algorithms in all 12 medical image segmentation datasets, by a margin of 0.1-0.5 and even 0.6-0.7 Dice. SAM-Semantic was significantly associated with medical image segmentation difficulty and the image modality, and SAM-Point and SAM-Box were significantly associated with image segmentation difficulty, image dimension, target region size, and target-vs-background contrast. All these 3 variations of SAM were more accurate in 2D medical images, larger target region sizes, easier cases with a higher Segmentation Ability score and higher U-Net Dice, and higher foreground-background contrast.

연구 동기 및 목표

• 12개의 공공 의료 영상 분할 데이터셋에서 Segment Anything Model(SAM)의 제로샷 정확도 평가.
• SAM을 최첨단의 데이터셋 특화 의료 분할 알고리즘과 비교.
• 의료 영상에서 SAM의 분할 정확도에 영향을 미치는 요인(차원, 대상 영역 크기, 대비, 모달리티 등)을 조사.
• 의료 영상에서 어떤 프롬프트 모드(SAM-Semantic, SAM-Point, SAM-Box)가 더 나은 결과를 제공하는지 분석.

제안 방법

• 의료 데이터세트에 대해 재학습이나 미세조정 없이 세 가지 프롬프트 모드(SAM-Semantic, SAM-Point, SAM-Box)를 적용.
• Dice 중첩을 정확도 메트릭으로 사용하여 12개 공공 데이터셋에서 10개 기관과 6개 영상 모달리티를 평가.
• 해당 데이터셋에 대해 학습된 U-Net, U-Net++, Attention U-Net, Trans U-Net, UCTransNet 다섯 개의 최첨단 의료 영상 분할 모델과 SAM 변형을 비교.
• 3D 이미지를 2D 슬라이스 시퀀스로 간주하여 분할하고 슬라이스 결과를 연결해 피험자 수준 Dice 점수를 얻음.
• 단일 요인 및 다요인 분석을 사용하여 SAM 정확도와 여섯 가지 potential factor(Segmentation Ability score, U-Net Dice, 이미지 차원, 대상 영역 크기, 모달리티, 전경-배경 대비)의 연관성을 계산.
• SAM Dice 점수에 대한 여섯 가지 요인의 공동 효과를 평가하기 위해 일반화 선형 모델(GLM)을 사용.

실험 결과

연구 질문

• RQ1 제로샷 SAM이 12개의 의료 영상 분할 데이터셋에서 전문화된 의료 분할 모델과 비교하여 어떤 성능을 보이는가?
• RQ2 어떤 SAM 프롬프트 모드(Semantic, Point, Box)가 의료 영상에서 더 나은 정확도를 보이는가?
• RQ3 난이도, 차원, 대상 크기, 대비, 모달리티 등 어떤 요인이 SAM의 의료 영상 분할 정확도에 유의하게 영향을 미치는가?
• RQ4 다양한 데이터세트에 걸친 SAM의 Dice 성능을 설명할 수 있는 다요인 모델이 존재하는가?

주요 결과

• SAM은 12개 데이터셋 전반에 대해 다섯 개의 의료 영상 특화 알고리즘에 비해 성능이 떨어지며, Dice 차이는 0.1–0.5 범위에서, 일부 경우 0.6–0.7까지 차이가 나타난다.
• SAM-Semantic, SAM-Point, SAM-Box는 서로 다른 성능을 보이고; 세 가지 모두 일반적으로 U-Net 기반 방법보다 정확도가 낮으며, 특히 3D 및 작은 또는 낮은 대비 영역에서 그렇다.
• SAM의 Dice는 분할 난이도(U-Net Dice로 측정)와 양호한 2D 이미지 및 더 큰 대상 영역에서 더 높고, 전경-배경 대비가 더 높은 경우에도 높다.
• 2D 이미지(피부진단 dermoscopy, 대장내시경 colonoscopy, X-ray)와 더 큰 대상 영역이 SAM 성능을 향상시키고, 3D 이미지와 작고 대비가 낮은 대상은 도전적이다.
• 결합 GLM 분석은 여섯 가지 요인이 SAM Dice 점수에 유의미한 예측력을 갖는다고 확인했다(p < 2.2e-16).
• 이 연구는 의료 데이터에 대한 미세조정이나 의료 영상용 벤치마크 모델 개발을 통해 SAM을 의료 영상에 맞게 조정할 것을 제시한다.