[논문 리뷰] RECOD Titans at ISIC Challenge 2017

Afonso Menegola, Julia Tavares외 4명|arXiv (Cornell University)|2017. 03. 14.

Cutaneous Melanoma Detection and Management참고 문헌 9인용 수 86

한 줄 요약

본 논문은 RECOD Titans의 ISIC 2017 참가를 다룬다: Part 1은 전이 학습이 적용된 U-net 기반 분할 기준선을 사용하고; Part 3은 심층 모델과 광범위한 데이터 수집, 증강 및 모델 앙상블로 악성흑색종 분류에 도전하며, 공식 검증 AUC 0.793을 달성한다.

ABSTRACT

This extended abstract describes the participation of RECOD Titans in parts 1 and 3 of the ISIC Challenge 2017 "Skin Lesion Analysis Towards Melanoma Detection" (ISBI 2017). Although our team has a long experience with melanoma classification, the ISIC Challenge 2017 was the very first time we worked on skin-lesion segmentation. For part 1 (segmentation), our final submission used four of our models: two trained with all 2000 samples, without a validation split, for 250 and for 500 epochs respectively; and other two trained and validated with two different 1600/400 splits, for 220 epochs. Those four models, individually, achieved between 0.780 and 0.783 official validation scores. Our final submission averaged the output of those four models achieved a score of 0.793. For part 3 (classification), the submitted test run as well as our last official validation run were the result from a meta-model that assembled seven base deep-learning models: three based on Inception-V4 trained on our largest dataset; three based on Inception trained on our smallest dataset; and one based on ResNet-101 trained on our smaller dataset. The results of those component models were stacked in a meta-learning layer based on an SVM trained on the validation set of our largest dataset.

연구 동기 및 목표

• 데이터가 희소한 의료 환경에서 딥러닝을 통한 악성흑색종/피부 병변 분류의 동기를 부여한다.
• ISIC Challenge 2017에 대한 Part 1(분할) 및 Part 3(분류) 기여를 설명한다.
• 전이 학습, 데이터 증강 및 앙상블이 성능을 어떻게 향상시키는지 제시한다.

제안 방법

• Part 1은 기본으로 U-net 유사 분할 네트워크를 사용하고, 공개 데이터셋과 온라인 증강을 활용한다.
• ImageNet 사전 학습 네트워크(VGG-16 기반)에서의 전이, Dice 손실, Adam 옵티마이저, 그리고 지상truth 마스크 전처리.
• 여러 네트워크 아키텍처(VGG 기반, U-net 변형, 배치 정규화)와 모델 앙상블을 실험하여 공식 검증 점수를 최대화한다.

실험 결과

연구 질문

• RQ1 대규모 이미지 데이터셋에서의 전이 학습이 피부 병변 분할 및 분류 성능에 어떤 영향을 미치는가?
• RQ2 데이터 증강 및 정규화 전략 중 어떤 것이 흑색종 과제에서 분할 정확도와 분류 AUC를 가장 잘 향상시키는가?
• RQ3 앙상블/메타 학습 접근법이 ISIC 2017 과제에서 단일 모델보다 더 나은 성능을 낼 수 있는가?
• RQ4 데이터셋 구성과 중복 제거가 내부 검증과 공식 검증 성능에 미치는 영향은 무엇인가?

주요 결과

• 최종 Part 1 제출은 개별 모델에서 공식 검증 점수 0.780~0.783를 달성했고, 평균 앙상블 점수는 0.793이다.
• 더 깊은 모델이 더 큰 데이터셋과 증강과 결합될 때 최상의 성능을 낳으며, 이미지당 정규화는 일부 모델에서 이득을 제공했다.
• 메타 학습 SVM으로 모델 스태킹은 일반적으로 단일 모델 예측보다 성능을 향상시켰다.
• 세미-배포(semi-deploy) 및 배포(deploy) 데이터셋을 사용하고 공격적인 메타 학습 앙상블을 통해 최고의 공식 검증 AUC를 얻었다.
• 여러 탐구 아이디어(예: 더 큰 이미지 해상도, 복잡한 가중치, 커리큘럼 학습)는 시간 제약하에서 성능 향상을 가져오지 못했다.