[논문 리뷰] SkinSAM: Empowering Skin Cancer Segmentation with Segment Anything Model

Mingzhe Hu, Yuheng Li외 1명|arXiv (Cornell University)|2023. 04. 27.

Cutaneous Melanoma Detection and Management인용 수 43

한 줄 요약

SkinSAM이 Segment Anything Model을 피부암 분할에 미세 조정하고 HAM10000에서 픽셀 단위 정확도와 IoU에서 높은 성능을 달성했으며, ViT_b_finetuned가 가장 큰 이득을 제공한다.

ABSTRACT

Skin cancer is a prevalent and potentially fatal disease that requires accurate and efficient diagnosis and treatment. Although manual tracing is the current standard in clinics, automated tools are desired to reduce human labor and improve accuracy. However, developing such tools is challenging due to the highly variable appearance of skin cancers and complex objects in the background. In this paper, we present SkinSAM, a fine-tuned model based on the Segment Anything Model that showed outstanding segmentation performance. The models are validated on HAM10000 dataset which includes 10015 dermatoscopic images. While larger models (ViT_L, ViT_H) performed better than the smaller one (ViT_b), the finetuned model (ViT_b_finetuned) exhibited the greatest improvement, with a Mean pixel accuracy of 0.945, Mean dice score of 0.8879, and Mean IoU score of 0.7843. Among the lesion types, vascular lesions showed the best segmentation results. Our research demonstrates the great potential of adapting SAM to medical image segmentation tasks.

연구 동기 및 목표

• 고도로 가변적인 반점 외관 속에서 정확한 피부암 분할의 도전 과제 해결
• 사전 학습된 Segment Anything Model을 활용하고 의학적 피부경 이미징에 맞게 미세 조정
• HAM10000 데이터셋에서 분할 성능 평가 및 병변 유형별 결과 파악
• 의료 영상 분할 작업에 SAM의 적용 가능성 시연

제안 방법

• 피부암 분할을 위한 피부경 이미지에서 Segment Anything Model(SAM) 미세 조정
• 다양한 SAM 백본(ViT_b, ViT_L, ViT_H) 및 ViT_b_finetuned 변형 실험
• HAM10000에서 평균 픽셀 정확도, 평균 Dice 점수, 평균 IoU로 분할 평가
• 병변 유형별 성능 비교를 통해 강점 파악(예: 혈管성 병변)
• 피부경 데이터셋에서 표준 분할 지표를 보고하여 결과를 근거화

실험 결과

연구 질문

• RQ1 미세 조정된 SAM이 대규모 피부경 데이터셋에서 경쟁력 있는 피부암 분할 성능을 달성할 수 있는가?
• RQ2 미세 조정 후 어떤 SAM 백본 변형이 최상의 분할 성능을 보이는가?
• RQ3 병변 유형이 분할 성능에 어떤 영향을 미치며 어떤 유형이 가장 정확하게 분할되는가?
• RQ4 의료 영상 분할 작업에 SAM을 적용할 때의 핵심 정량적 이득은 무엇인가?

주요 결과

• ViT_b_finetuned이 실험된 백본 중 가장 큰 개선을 제공했다.
• 미세 조정된 모델로 평균 픽셀 정확도는 0.945에 달했다.
• 평균 Dice 점수는 0.8879에 달했다.
• 평균 IoU 점수는 0.7843에 달했다.
• 혈관성 병변이 병변 유형 중 가장 우수한 분할 성능을 보였다.