[논문 리뷰] Benchmarking of Lightweight Deep Learning Architectures for Skin Cancer Classification using ISIC 2017 Dataset

Abdurrahim Yılmaz, Mucahit Kalebasi외 3명|arXiv (Cornell University)|2021. 10. 23.

Cutaneous Melanoma Detection and Management인용 수 14

한 줄 요약

이 연구는 전이 학습과 데이터 증강을 사용하여 ISIC 2017 피부암 데이터셋에서 경량 딥 러닝 모델—MobileNet, MobileNetV2, NASNetMobile—을 벤치마킹한다. 배치 크기가 16인 NASNetMobile 모델이 가장 높은 성능을 보였으며, 정확도 82.00%, 정밀도 81.77%, F1 스코어 0.8038을 기록하여, 더 작은 배치 크기가 이동형 모델의 일반화 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

Skin cancer is one of the deadly types of cancer and is common in the world. Recently, there has been a huge jump in the rate of people getting skin cancer. For this reason, the number of studies on skin cancer classification with deep learning are increasing day by day. For the growth of work in this area, the International Skin Imaging Collaboration (ISIC) organization was established and they created an open dataset archive. In this study, images were taken from ISIC 2017 Challenge. The skin cancer images taken were preprocessed and data augmented. Later, these images were trained with transfer learning and fine-tuning approach and deep learning models were created in this way. 3 different mobile deep learning models and 3 different batch size values were determined for each, and a total of 9 models were created. Among these models, the NASNetMobile model with 16 batch size got the best result. The accuracy value of this model is 82.00%, the precision value is 81.77% and the F1 score value is 0.8038. Our method is to benchmark mobile deep learning models which have few parameters and compare the results of the models.

연구 동기 및 목표

• ISIC 2017 데이터셋을 사용하여 경량 딥 러닝 모델의 피부암 분류 성능을 평가하는 것.
• 배치 크기라는 하이퍼파라미터가 모델의 일반화 및 성능에 미치는 영향을 조사하는 것.
• 이동형 아키텍처를 사용한 전이 학습과 미세조정 접근 방식을 비교하여 피부암 검출에 응용하는 것.
• 효율적이고 정확한 피부암 분류를 위한 최적의 모델 및 하이퍼파라미터 구성 식별하기

제안 방법

• ISIC 2017 데이터셋에 대해 전처리 및 데이터 증강을 적용하였으며, 색상 공간 변환(HSV)과 이미지 회전을 통해 데이터셋의 다양성을 높였다.
• ImageNet 사전 훈련 가중치를 기반으로 전이 학습을 사용하여 세 가지 경량 모델—MobileNet, MobileNetV2, NASNetMobile—을 미세조정하였다.
• 하이퍼파라미터 민감도 평가를 위해 세 가지 다른 배치 크기(16, 32, 64)로 총 아홉 개의 모델을 훈련시켰다.
• 모델 평가에 표준 지표인 정확도, 정밀도, F1 스코어, AUC를 사용하였으며, 혼동 행렬을 통해 계산하였다.
• 훈련는 Keras 라이브러리를 사용하여 150 에포크 동안 진행되었고, 검증 데이터는 훈련 데이터의 20%로 분할되었다.
• 검증 성능을 기반으로 가장 우수한 성능을 보인 모델을 선별하고, 보류된 테스트 세트에서 검증하였다.

실험 결과

연구 질문

• RQ1 경량 딥 러닝 모델은 ISIC 2017 데이터셋에서 피부암 분류에 어떻게 성능을 발휘하는가?
• RQ2 배치 크기는 이동형 딥 러닝 모델의 일반화 및 성능에 어떤 영향을 미치는가?
• RQ3 MobileNet, MobileNetV2, 또는 NASNetMobile 중 어느 경량 아키텍처가 ISIC 2017 데이터셋에서 가장 높은 정확도와 F1 스코어를 기록하는가?
• RQ4 미세조정을 통한 전이 학습은 최소한의 파라미터와 감소된 추론 시간으로 높은 성능을 달성할 수 있는가?

주요 결과

• 배치 크기가 16인 NASNetMobile 모델이 ISIC 2017 테스트 세트에서 가장 높은 정확도 82.00%를 기록하였다.
• 동일한 모델은 정밀도 81.77%와 F1 스코어 0.8038을 기록하여 모든 다른 구성보다 뛰어난 성능을 보였다.
• 모든 아키텍처에서 배치 크기가 16인 모델이 배치 크기가 32 또는 64인 모델보다 유의미하게 더 우수한 일반화 성능을 보였다.
• 배치 크기가 16인 MobileNetV2는 두 번째로 높은 정확도(81.45%)와 모든 모델 중 가장 높은 F1 스코어(0.8114)를 기록하였다.
• 모든 모델의 평균 정확도는 MobileNet의 79.60%, MobileNetV2의 80.30%, NASNetMobile의 79.70%였으며, 이는 MobileNetV2의 평균 성능이 뛰어나다는 것을 시사한다.
• AUC 스코어는 0.8684에서 0.9050 사이로 변동하였으며, 배치 크기가 16인 NASNetMobile의 경우 0.8832를 기록하여 강력한 분류 능력을 보였다.