[논문 리뷰] Skin Lesion Analysis Toward Melanoma Detection 2018: A Challenge Hosted by the International Skin Imaging Collaboration (ISIC)

Noel Codella, Veronica Rotemberg외 10명|arXiv (Cornell University)|2019. 02. 09.

Cutaneous Melanoma Detection and Management참고 문헌 7인용 수 984

한 줄 요약

이 논문은 멜라노마 탐지를 위한 ISIC 2018 Challenge on Skin Lesion Analysis를 요약하고, 데이터셋, 과제, 평가 프로토콜, 결과 및 일반화와 규제에 대한 시사점을 상세히 제시합니다.

ABSTRACT

This work summarizes the results of the largest skin image analysis challenge in the world, hosted by the International Skin Imaging Collaboration (ISIC), a global partnership that has organized the world's largest public repository of dermoscopic images of skin. The challenge was hosted in 2018 at the Medical Image Computing and Computer Assisted Intervention (MICCAI) conference in Granada, Spain. The dataset included over 12,500 images across 3 tasks. 900 users registered for data download, 115 submitted to the lesion segmentation task, 25 submitted to the lesion attribute detection task, and 159 submitted to the disease classification task. Novel evaluation protocols were established, including a new test for segmentation algorithm performance, and a test for algorithm ability to generalize. Results show that top segmentation algorithms still fail on over 10% of images on average, and algorithms with equal performance on test data can have different abilities to generalize. This is an important consideration for agencies regulating the growing set of machine learning tools in the healthcare domain, and sets a new standard for future public challenges in healthcare.

연구 동기 및 목표

• ISIC 2018 Challenge 설계 및 참여 지표를 제시한다.
• Thresholded Jaccard와 균형 정확도 등 새로운 평가 프로토콜을 도입한다.
• 내부 및 외부 테스트 파티션을 사용하여 일반화를 평가한다.
• 분할, 속성 탐지, 질병 분류 작업 전반에 걸친 결과를 분석한다.
• 의료 ML의 향후 공개 챌린지를 위한 권고를 제시한다.

제안 방법

• 도전 과제를 세 가지 작업으로 나눈다: 분할(segmentation), 속성 탐지(attribute detection), 질병 분류(disease classification).
• 분할에서 관찰자 간 변동성을 고려하기 위해 Thresholded Jaccard를 사용한다.
• 분류에서 발생 빈도 편향을 완화하기 위해 균형 정확도를 사용한다.
• 일반화를 평가하기 위해 내부 및 외부 보유 테스트 파티션을 포함한다.
• 방법을 기술하는 4페이지 원고를 제공하고 도메인 내 또는 도메인 외 데이터 사용을 고지한다.
• 작업별 지표로 분할, 속성 탐지, 분류를 평가한다.

실험 결과

연구 질문

• RQ1 새로운 평가 프로토콜에서 분할, 속성 탐지, 질병 분류의 성능은 어떠한가?
• RQ2 분할에서 Thresholded Jaccard가 Jaccard보다 임상적 활용도에 더 잘 반영하는가?
• RQ3 균형 정확도가 다른 지표에 비해 순위 및 일반화에 어떤 영향을 미치는가?
• RQ4 멜라노마 탐지에서 알고리즘이 내부 데이터에서 외부 데이터 파티션으로 일반화될 수 있는가?
• RQ5 제한된 속성 탐지 성능이 임상 실무 및 향후 도전에 어떤 함의를 가지는가?

주요 결과

• 상위 분할 제출은 약 0.80의 Thresholded Jaccard에 도달했지만 여전히 이미지의 10% 이상에서 실패한다.
• 속성 탐지 성능은 낮았고, 각 속성당 평균 Jaccard의 최고치는 약 0.473이었다.
• 가장 높은 질병 분류 균형 정확도는 0.885였고, 뚜렷한 내부-외부 일반화 격차가 있었다.
• 알고리즘은 종종 내부 데이터에 과적합되었고 일반화는 방법에 따라 달랐다.
• 균형 정확도는 정확도나 AUC와 비교해 참가자 순위에 상당한 영향을 미쳤다.
• 외부 테스트 데이터는 내부 테스트 데이터셋에서 포착되지 않은 성능 차이를 나타냈다.