[논문 리뷰] Skin Lesion Classification Using Hybrid Deep Neural Networks

Amirreza Mahbod, G. Bradley Schaefer외 3명|arXiv (Cornell University)|2017. 02. 27.

Cutaneous Melanoma Detection and Management참고 문헌 22인용 수 7

한 줄 요약

이 논문은 사전 훈련된 CNNs(AlexNet, VGG16, ResNet-18)를 사용하여 다중 수준의 특징을 추출하고, 이를 SVM을 사용하여 분류한 후 융합하여 성능을 향상시키는 하이브리드 딥 러닝 접근법을 제안한다. 이 방법은 ISIC 2017 검증 세트에서 메라노마에 대해 83.83%의 AUC, 선모세포증에 대해 97.55%의 AUC를 기록하여 특징과 분류기 융합의 효과를 입증한다.

ABSTRACT

Skin cancer is one of the major types of cancers with an increasing incidence over the past decades. Accurately diagnosing skin lesions to discriminate between benign and malignant skin lesions is crucial to ensure appropriate patient treatment. While there are many computerised methods for skin lesion classification, convolutional neural networks (CNNs) have been shown to be superior over classical methods. In this work, we propose a fully automatic computerised method for skin lesion classification which employs optimised deep features from a number of well-established CNNs and from different abstraction levels. We use three pre-trained deep models, namely AlexNet, VGG16 and ResNet-18, as deep feature generators. The extracted features then are used to train support vector machine classifiers. In the final stage, the classifier outputs are fused to obtain a classification. Evaluated on the 150 validation images from the ISIC 2017 classification challenge, the proposed method is shown to achieve very good classification performance, yielding an area under receiver operating characteristic curve of 83.83% for melanoma classification and of 97.55% for seborrheic keratosis classification.

연구 동기 및 목표

• 사전 훈련된 딥 뉴럴 네트워크에서의 전이 학습을 활용하여 피부 병변 분류 정확도를 향상시키기 위해.
• 다양한 추상 수준의 특징을 다수의 CNN 아키텍처에서 추출하여 융합할 경우 분류 성능에 미치는 영향을 조사하기 위해.
• 피부 병변의 양성 낙엽종, 악성 메라노마, 선모세포증을 자동으로 종합적으로 분류하기 위한 완전 자동화된 엔드 투 엔드 방법을 개발하기 위해.
• 다양한 분류기 출력을 SVM 기반 융합 전략으로 융합하여 피부 병변 유형 간의 분류 성능 향상 효과를 평가하기 위해.

제안 방법

• 각 네트워크에 적합한 입력 치수로 이미지를 리사이징한 후, 사전 훈련된 CNNs(AlexNet, VGG16, ResNet-18)를 피부 병변 영상의 특징 추출기로 사용한다.
• 완전 연결(FC) 레이어에서 특징을 추출하고, 일부 경우에 마지막 합성곱 레이어에서의 특징도 추출하여 다중 수준의 추상화된 특징을 확보한다.
• 각 개별 네트워크와 병변 유형에 대해 추출된 특징을 기반으로 서포트 벡터 머신(SVM)을 훈련한다.
• 개별 네트워크의 분류기 출력을 가중 평균 전략을 사용하여 융합하여 전체 분류 성능 향상에 기여한다.
• 일반화 성능 유지를 위해 최소한의 전처리(예: ImageNet 평균 제거)를 적용한다.
• 수집된 성능은 ISIC 2017 검증 세트에서 receiver operating characteristic 곡선 아래 면적(AUC)을 사용하여 평가한다.

Fig. 1 : Common artefacts in dermoscopic images from the ISIC challenge. Normal image, dark corner artefact, skin hair artefacts, colour chart artefact, ruler marker artefact, ink marker artefact (left to right, top to bottom).

실험 결과

연구 질문

• RQ1 다수의 사전 훈련된 CNN에서 추출한 딥 특징을 융합할 경우 단일 네트워크 기반 접근법을 초월하여 피부 병변 분류 성능 향상이 가능한가?
• RQ2 다양한 추상 수준(예: FC 레이어와 합성곱 레이어)의 특징을 융합할 경우 단일 레이어를 사용하는 것보다 성능 향상이 이루어지는가?
• RQ3 다양한 네트워크에서 추출된 특징을 기반으로 훈련된 다수의 SVM 분류기 출력을 융합할 경우 개별 네트워크 성능에 비해 어떻게 비교되는가?
• RQ4 ImageNet에서 사전 훈련된 모델에서의 전이 학습이 제한된 훈련 데이터로 피부 병변 분류 작업에 효과적으로 일반화되는가?

주요 결과

• 모든 세 개의 네트워크(AlexNet, VGG16, ResNet-18)를 사용하여 모든 완전 연결 레이어의 특징을 융합한 결과, ISIC 2017 검증 세트에서 전체 AUC가 90.69%로 가장 높았다.
• 제안된 방법은 메라노마 분류에 대해 83.83%의 AUC, 선모세포증 분류에 대해 97.55%의 AUC를 기록하여 단일 네트워크 기반 기준선보다 뚜렷이 뛰어난 성능을 보였다.
• 단일 네트워크 내에서 모든 완전 연결 레이어의 특징을 사용할 경우 마지막 FC8 레이어만 사용하는 것보다 더 높은 성능을 달성하여 다중 수준의 특징 추상화의 가치를 입증했다.
• 단일 네트워크 중에서 AlexNet이 가장 뛰어난 개별 성능(AUC 89.73)을 기록하여, 더 얕은 아키텍처가 더 작은 데이터셋에서 더 잘 일반화된다는 것을 시사했다.
• AlexNet과 ResNet-18의 융합은 AUC 90.29%를 기록하여 다양한 아키텍처를 융합할 경우 성능 향상이 이루어짐을 보여주었다.
• 최소한의 전처리 조건에서도 뛰어난 성능을 달성하여, 이 방법이 다양한 피부 병변 영상 데이터셋에 대해 강건하고 일반화 가능한 잠재력을 지닌다는 것을 시사했다.

Fig. 3 : ROC curve of the best performing approach.