[논문 리뷰] A Smartphone based Application for Skin Cancer Classification Using Deep Learning with Clinical Images and Lesion Information

Breno Krohling, Pedro B. C. Castro외 2명|arXiv (Cornell University)|2021. 04. 28.

Cutaneous Melanoma Detection and Management참고 문헌 44인용 수 15

한 줄 요약

이 논문은 균형 잡힌 데이터셋으로 훈련된 컨볼루션 신경망(CNN)을 활용하여 임상 영상과 환자 인구통계학적 정보를 기반으로 스마트폰 기반 딥러닝 응용 프로그램을 제안한다. 이 시스템은 균형 잡힌 정확도 85%와 재현율 96.42%를 달성하여, 임상 데이터를 통합함으로써 영상 전용 모델보다 분류 성능이 향상됨을 보여준다.

ABSTRACT

Over the last decades, the incidence of skin cancer, melanoma and non-melanoma, has increased at a continuous rate. In particular for melanoma, the deadliest type of skin cancer, early detection is important to increase patient prognosis. Recently, deep neural networks (DNNs) have become viable to deal with skin cancer detection. In this work, we present a smartphone-based application to assist on skin cancer detection. This application is based on a Convolutional Neural Network(CNN) trained on clinical images and patients demographics, both collected from smartphones. Also, as skin cancer datasets are imbalanced, we present an approach, based on the mutation operator of Differential Evolution (DE) algorithm, to balance data. In this sense, beyond provides a flexible tool to assist doctors on skin cancer screening phase, the method obtains promising results with a balanced accuracy of 85% and a recall of 96%.

연구 동기 및 목표

• 피부과 전문의 접근성이 제한된 지역에서 조기 발견을 향상시키기 위해 스마트폰 기반 응용 프로그램을 개발하는 것.
• 딥러닝 모델에 임상 영상 데이터와 환자 인구통계학적 정보를 통합하여 분류 정확도를 향상시키는 것.
• 피부암 데이터셋의 데이터 불균형 문제를 다루기 위해 차별 진화 연산자 기반의 새로운 접근법을 제안하는 것.
• 임상 정보가 딥러닝 성능에 미치는 영향을 평가하는 것.
• 실제 스크리닝 사용을 위해 기능적인 모바일 애플리케이션을 구현하고 검증하는 것.

제안 방법

• 스마트폰을 통해 수집된 임상 영상 및 환자 인구통계학적 정보를 기반으로 컨볼루션 신경망(CNN)을 훈련한다.
• 피부암 데이터셋의 클래스 불균형 문제를 다루기 위해 차별 진화(DE) 알고리즘의 변이 연산자를 기반으로 한 데이터 균형 기법을 제안한다.
• 다양한 데이터 균형 전략에 대해 균형 잡힌 정확도, 정밀도, 재현율, F-측정치를 포함한 지표를 사용해 모델을 평가한다.
• 실시간 스마트폰 분류 기능을 제공하기 위해 안드로이드 및 iOS 플랫폼용 모바일 애플리케이션으로 시스템을 구현한다.
• 모델의 구분 능력을 평가하기 위해, 임상 데이터 유무에 따라 특징 표현을 t-SNE 시각화를 통해 비교한다.
• 제안된 방법은 PAD-UFES-20 데이터셋을 기반으로 하며, 더 많은 피부 병변 유형으로 확장되었다.

실험 결과

연구 질문

• RQ1 스마트폰 기반 딥러닝 응용 프로그램이 임상 영상과 환자 인구통계학적 정보를 사용하여 피부암을 효과적으로 분류할 수 있는가?
• RQ2 환자 인구통계학적 정보를 통합할 경우, CNN의 피부암 분류 성능은 어떻게 향상되는가?
• RQ3 데이터 불균형은 모델 성능에 어떤 영향을 미치며, DE 기반 균형 기법은 기존 기법보다 우수한가?
• RQ4 제안된 모델은 기존의 모바일 피부암 탐지 시스템과 비교해 정확도와 재현율 측면에서 어떻게 다른가?
• RQ5 임상 데이터와 영상 데이터의 통합은 모델의 특징 표현을 더 구분 가능하게 만들 수 있는가?

주요 결과

• 임상 정보의 통합으로 인해 영상 전용 모델 대비 균형 잡힌 정확도가 1.4% 향상되고, 정밀도는 1.1% 향상되고, 재현율은 2.4% 향상되었다.
• 임상 데이터를 사용한 경우 모델은 균형 잡힌 정확도 85.50%와 재현율 96.42%를 달성했으며, 가중치 손실 함수가 가장 우수한 성능을 보였다.
• DE 기반 데이터 균형 기법은 가중치 손실 기법과 유사한 결과를 보였으며, 균형 잡힌 정확도 84.84%와 재현율 96.12%를 기록했다.
• t-SNE 시각화 결과, 임상 데이터를 사용한 모델가 더 뚜렷한 특징 표현을 생성하는 것으로 확인되었다.
• 응용 프로그램은 조기 스크리닝에서 유망한 성능을 보였으며, 재현율 96.42%로 암세포 감지에 매우 민감한 것으로 나타났다.
• 수집된 데이터셋의 크기가 제한되어 있어 결과는 초보적일 수 있으며, 향후 실세계 적용에서의 추가 검증이 필요하다.