[논문 리뷰] Identifying Melanoma Images using EfficientNet Ensemble: Winning Solution to the SIIM-ISIC Melanoma Classification Challenge

Qishen Ha, Бо Лю외 1명|arXiv (Cornell University)|2020. 10. 11.

AI in cancer detection참고 문헌 5인용 수 46

한 줄 요약

논문은 주로 EfficientNets를 포함한 다양한 CNN 모델의 image와 메타데이터 입력을 활용한 우승적인 앙상블을 제시하고, 안정적인 검증 체계와 타깃 인식 기반 라벨링으로 SIIM-ISIC Melanoma Classification Challenge에서 최고 AUC를 달성한다.

ABSTRACT

We present our winning solution to the SIIM-ISIC Melanoma Classification Challenge. It is an ensemble of convolutions neural network (CNN) models with different backbones and input sizes, most of which are image-only models while a few of them used image-level and patient-level metadata. The keys to our winning are: (1) stable validation scheme (2) good choice of model target (3) carefully tuned pipeline and (4) ensembling with very diverse models. The winning submission scored 0.9600 AUC on cross validation and 0.9490 AUC on private leaderboard.

연구 동기 및 목표

• 양성 샘플이 제한된 피부 이미지에서 흑색종 분류 과제를 해결하기 위해 다년 간의 데이터를 활용한다.
• 불균형 데이터셋에서 모델 성능을 신뢰성 있게 추정하기 위한 안정적인 검증 전략을 개발한다.
• 메타데이터 사용 여부에 따른 모델 아키텍처를 탐색하여 앙상블 다양성과 성능을 향상시킨다.
• 다양한 백본과 입력 크기의 앙상블을 구성해 교차 검증과 프라이빗 리더보드에서 AUC를 극대화한다.

제안 방법

• 다양한 백본(EfficientNet B3–B7, SE-ResNeXt-101, ResNeSt-101)을 가진 여러 CNN 모델을 학습한다.
• 2019 진단을 2020 타깃으로 매핑해 도출한 9클래스 타깃을 사용하고, MEL을 최종 예측으로 삼아 AUC를 평가한다.
• 일부 모델에 14개의 메타데이터 특성(인구통계, 해부학 부위, 이미지 크기, 이미지 수)을 융합 전에 두 개의 FC 계층으로 도입한다.
• 확장된 이미지 증강(Albumentations)과 warm restart를 갖춘 코사인 감소 학습으로 15에폭 학습을 적용한다.
• 2018–2020 데이터를 포괄하는 결합 데이터 5-fold CV(cv_all)로 모델을 평가하고, 점검용으로 cv_2020을 추적한다.
• 확률을 균일 스코어로 변환한 뒤 평균화하여 18개 모델의 간단한 평균 앙상블을 만든다.

실험 결과

연구 질문

• RQ1 다양한 CNN 아키텍처의 앙상블이 단일 모델 접근법보다 SIIM-ISIC 흑색종 분류에서 더 높은 AUC를 달성할 수 있는가?
• RQ2 이미지 데이터와 함께 메타데이터를 포함시키면 흑색종 분류 성능과 앙상블 다양성이 향상되는가?
• RQ3 다년간의 결합 검증 전략이 불균형한 의료 영상 데이터에 대해 더 안정적이고 신뢰할 수 있는 성능 추정치를 제공하는가?

주요 결과

• 18모델 앙상블은 cv_all 0.9845, cv_2020 0.9600, private_LB 0.9490, public_LB 0.9442를 달성했다.
• 백본, 입력 크기, 메타데이터 사용의 다양성이 앙상블의 강건성에 기여했다.
• 이미지 전용 모델이 일반적으로 메타데이터 전용 모델보다 우수했지만, 메타데이터 모델은 귀중한 다양성을 더했다.
• 2018–2020의 결합 학습 데이터와 cv_all 기반 검증을 사용한 것이 2020 데이터만 의존하는 것보다 더 안정적인 AUC 추정치를 yielded.