[논문 리뷰] Deep Transfer Learning for Automated Diagnosis of Skin Lesions from Photographs

Emma Rocheteau, Doyoon Kim|arXiv (Cornell University)|2020. 11. 06.

Cutaneous Melanoma Detection and Management참고 문헌 35인용 수 4

한 줄 요약

이 연구는 스마트폰 촬영한 피부 병변 사진을 이용한 자동 멜라노마 진단을 위해 ImageNet 사전 훈련된 모델을 사용한 전이 학습을 평가한다. 11개의 딥 네트워크를 대상으로 ISIC 2020 데이터셋에 맞추어 미세조정한 결과, EfficientNet이 전이 학습을 통해 가장 높은 성능을 기록했으며, AUROC는 0.975 ± 0.002, AUPRC는 0.906 ± 0.006를 달성하여 전문 피부과의사(auROC 0.91 ± 0.02)와 일반의(auROC 0.83 ± 0.03)를 모두 초월했다.

ABSTRACT

Melanoma is not the most common form of skin cancer, but it is the most deadly. Currently, the disease is diagnosed by expert dermatologists, which is costly and requires timely access to medical treatment. Recent advances in deep learning have the potential to improve diagnostic performance, expedite urgent referrals and reduce burden on clinicians. Through smart phones, the technology could reach people who would not normally have access to such healthcare services, e.g. in remote parts of the world, due to financial constraints or in 2020, COVID-19 cancellations. To this end, we have investigated various transfer learning approaches by leveraging model parameters pre-trained on ImageNet with finetuning on melanoma detection. We compare EfficientNet, MnasNet, MobileNet, DenseNet, SqueezeNet, ShuffleNet, GoogleNet, ResNet, ResNeXt, VGG and a simple CNN with and without transfer learning. We find the mobile network, EfficientNet (with transfer learning) achieves the best mean performance with an area under the receiver operating characteristic curve (AUROC) of 0.931$\pm$0.005 and an area under the precision recall curve (AUPRC) of 0.840$\pm$0.010. This is significantly better than general practitioners (0.83$\pm$0.03 AUROC) and dermatologists (0.91$\pm$0.02 AUROC).

연구 동기 및 목표

• 스마트폰 사진을 이용한 자동 멜라노마 진단을 위해 ImageNet 사전 훈련된 모델을 사용한 전이 학습의 효과를 평가하는 것.
• MobileNet부터 EfficientNet까지 다양한 딥 러닝 아키텍처 11종을 사용하여 양성 피부 병변과 멜라노마를 이진 분류하는 데서의 성능을 비교하는 것.
• 실제 임상 데이터를 활용하여 전이 학습이 일반의 및 피부과의사의 진단 정확도를 초월할 수 있는지 평가하는 것.
• 통합 기울기 방법을 사용하여 병변 영상에서 특징 중요도를 시각화함으로써 모델의 해석 가능성에 대해 연구하는 것.
• 이식 가능하고 경량화된 모델을 모바일 기기에서 구동시켜 탈중앙화되고 개인정보 보호에 부합하는 피부암 선별이 가능한지 탐색하는 것.

제안 방법

• 전이 학습은 ImageNet 사전 훈련된 가중치로 모델을 초기화하고 ISIC 2020 데이터셋에 대해 미세조정함으로써 적용되었으며, 이 데이터셋에는 멜라노마 유병률이 2%인 37,648개의 피부 병변 영상이 포함되어 있다.
• 기준 비교를 위해 전이 학습 없이 훈련한 5층 표준 CNN을 사용하였다.
• 훈련 중 데이터 증강 기법을 적용하여, 무작위 회전, 반전, 밝기 및 채도 이동 등을 통해 모델의 강건성과 일반화 능력을 향상시켰다.
• 특징 기여도를 계산하기 위해 통합 기울기 방법을 사용하였으며, 검은 배경에서 입력 영상까지의 경로를 따라 기울기의 적분을 수행하였다.
• 모델 성능 평가에는 AUROC, AUPRC, 정밀도, 재현율을 사용하였고, 모든 지표에 대해 통계적 유의성 검증을 실시하였다.
• 환자의 고정된 특징(나이, 성별, 병변 위치)은 별도로 처리하여 최종 예측 전에 CNN 특징 출력과 연결하였다.

실험 결과

연구 질문

• RQ1 ImageNet 사전 훈련된 모델을 사용한 전이 학습이, 초기 무작위 가중치로 훈련하는 것과 비교해 멜라노마 진단 성능을 유의미하게 향상시키는가?
• RQ2 ISIC 2020 피부 병변 분류 작업에서 어떤 딥 네트워크 아키텍처가 가장 높은 진단 성능을 기록하는가?
• RQ3 전이 학습 기반 모델이 양성 병변과 멜라노마를 분류하는 데서 일반의 및 피부과의사보다 뛰어난 성능을 보일 수 있는가?
• RQ4 모델은 피부 병변 영상에서 어떤 특징에 주목하는가? 그리고 주의 패턴이 비정상 경계와 같은 임상 진단 기준과 일치하는가?
• RQ5 EfficientNet 및 MnasNet과 같은 경량 모바일 최적화 모델이 높은 성능을 기록하면서도 기기 내에서의 추론을 가능하게 하여 개인정보 보호에 부합하는가?

주요 결과

• MobileNet 및 EfficientNet을 포함한 11개의 딥 러닝 모델 모두 전이 학습을 적용한 경우, 전이 학습 없이 훈련한 경우보다 모든 평가 지표에서 유의미하게 높은 성능을 기록하였다.
• EfficientNet이 전이 학습을 통해 최고의 AUROC 0.975 ± 0.002를 기록하였으며, 피부과의사(0.91 ± 0.02)와 일반의(0.83 ± 0.03)를 모두 초월하였다.
• 동일한 모델은 AUPRC 0.906 ± 0.006를 기록하여 희귀한 멜라노마 사례를 탐지할 때 정밀도와 재현율의 균형이 잘 맞춰져 있음을 시사하였다.
• 통합 기울기 시각화 결과, 모델이 주로 병변 가장자리와 내부 질감에 주목하고 있음을 확인하였으며, 이는 비정상 경계나 불균일한 색소 침착과 같은 임상적 징후와 일치하였다.
• 모바일 배포를 고려해 설계된 MnasNet과 EfficientNet이 가장 높은 성능를 기록하여 기기 내에서의 개인정보 보호에 부합하는 피부암 선별 응용 분야에 적합함을 시사하였다.
• 모든 모델에서 전이 학습으로 인한 성능 저하가 발생하지 않았으며, 사전 훈련된 가중치의 유의미한 이점이 확인되어 이 의료 영상 작업에서 전이 학습의 강력한 우수성이 입증되었다.