[논문 리뷰] Skin Lesion Analysis toward Melanoma Detection: A Challenge at the International Symposium on Biomedical Imaging (ISBI) 2016, hosted by the International Skin Imaging Collaboration (ISIC)

David Gutman, Noel Codella외 5명|arXiv (Cornell University)|2016. 05. 04.

Cutaneous Melanoma Detection and Management인용 수 364

한 줄 요약

ISIC dermoscopy 이미지를 활용한 공개된 다중 작업 멜라노마 진단 벤치마크(세분화, dermoscopic feature 탐지, 및 분류)로, 900개의 학습 이미지와 379개의 테스트 이미지, 38명의 참가자의 결과를 상세히 제시한다.

ABSTRACT

In this article, we describe the design and implementation of a publicly accessible dermatology image analysis benchmark challenge. The goal of the challenge is to sup- port research and development of algorithms for automated diagnosis of melanoma, a lethal form of skin cancer, from dermoscopic images. The challenge was divided into sub-challenges for each task involved in image analysis, including lesion segmentation, dermoscopic feature detection within a lesion, and classification of melanoma. Training data included 900 images. A separate test dataset of 379 images was provided to measure resultant performance of systems developed with the training data. Ground truth for both training and test sets was generated by a panel of dermoscopic experts. In total, there were 79 submissions from a group of 38 participants, making this the largest standardized and comparative study for melanoma diagnosis in dermoscopic images to date. While the official challenge duration and ranking of participants has concluded, the datasets remain available for further research and development.

연구 동기 및 목표

• 피부경 이미지에서 자동 멜라노마 진단을 발전시키기 위한 공개적으로 접근 가능한 벤치마크를 제공합니다.
• 표준화된 프레임워크에서 세분화, dermoscopic 특징 탐지, 및 악성 분류를 평가합니다.
• 전문가-ground-truth 주석을 활용한 알고리즘의 기관 간 비교를 가능하게 합니다.

제안 방법

• 세 가지 챌런지 부분이 병변 분석에 매핑됩니다: 세분화, dermoscopic feature 탐지/세분화(글로블(globules) 및 streaks를 superpixels 사용), 및 질병 분류.
• 학습 데이터: 900 이미지와 ground truth; 테스트 세트: 379 이미지.
• Ground truth는 dermoscopic 전문가에 의해 주석되었습니다.
• 평가 플랫폼 Covalic은 실시간 제출 및 순위를 가능하게 했습니다.
• 지표에는 세분화에 대해 픽셀 수준 정확도(accuracy), 민감도(sensitivity), 특이도(specificity), Dice, 및 Jaccard; 분류에 대해 정확도(accuracy), 민감도, 특이도, 평균 정밀도(average precision), AUC, SP95, SP98.

실험 결과

연구 질문

• RQ1 자율적 방법이 전문가 주석과 비교했을 때 피부경 피부 병변의 세분화를 얼마나 잘 수행하는가?
• RQ2 병변 내 dermoscopic 특징(globules, streaks)을 자동 시스템이 정확히 탐지할 수 있는가, 그리고 superpixel 기반 라벨이 성능에 어떤 영향을 주는가?
• RQ3 held-out 테스트 데이터에서 자동 멜라노마 분류(양성 대 악성)의 성능은 전문가 벤치마크와 비교해 어떠한가?

주요 결과

부분	AC	SE	SP	AP	AUC	SP95	SP98
2	0.916	0.505	0.920	0.243	0.677	-	-
3	0.855	0.507	0.941	0.637	0.804	0.227	0.095
3B	0.855	0.547	0.931	0.624	0.783	0.125	0.086
1	0.953	0.910	0.965	0.910	0.843	-	-
2B	0.962	0.396	0.968	0.128	0.070	-	-

• 79 제출이 38명의 참가자에서 다섯 가지 작업 변형으로 이루어짐.
• Segmentation top: AC 0.953, SE 0.910, SP 0.965, DI 0.910, JA 0.843 (Part 1).
• Segmentation (Part 2B) top: AC 0.962, SE 0.396, SP 0.968, DI 0.128, JA 0.070.
• Classification top: Part 2: AC 0.916, SE 0.505, SP 0.920, AP 0.243, AUC 0.677.
• Classification Part 3: AC 0.855, SE 0.507, SP 0.941, AP 0.637, AUC 0.804.
• Classification Part 3B: AC 0.855, SE 0.547, SP 0.931, AP 0.624, AUC 0.783.”],
• table_headers[(
• Part
• AC
• SE
• SP
• AP
• AUC
• SP95
• SP98