[논문 리뷰] What evidence does deep learning model use to classify Skin Lesions?

Xiaoxiao Li, Junyan Wu외 2명|arXiv (Cornell University)|2018. 11. 02.

Cutaneous Melanoma Detection and Management참고 문헌 19인용 수 8

한 줄 요약

이 논문은 피부 병변 분류에서 딥러닝 모델을 해석하기 위한 방법을 제안하며, 패치 단위의 손상 분석을 통해 예측 차이를 분석함으로써 색소망, 파란백색 혈관막, 혈관 패턴과 같은 임상적으로 관련성이 있는 생물학적 마커를 규명한다. 이 방법은 모델이 피부과 기준과 일치하는 특징에 의존하고 있음을 드러내어 악성모세포종 탐지에서 신뢰도와 임상적 관련성을 높인다.

ABSTRACT

Melanoma is a type of skin cancer with the most rapidly increasing incidence. Early detection of melanoma using dermoscopy images significantly increases patients' survival rate. However, accurately classifying skin lesions by eye, especially in the early stage of melanoma, is extremely challenging for the dermatologists. Hence, the discovery of reliable biomarkers will be meaningful for melanoma diagnosis. Recent years, the value of deep learning empowered computer-assisted diagnose has been shown in biomedical imaging based decision making. However, much research focuses on improving disease detection accuracy but not exploring the evidence of pathology. In this paper, we propose a method to interpret the deep learning classification findings. Firstly, we propose an accurate neural network architecture to classify skin lesions. Secondly, we utilize a prediction difference analysis method that examines each patch on the image through patch-wised corrupting to detect the biomarkers. Lastly, we validate that our biomarker findings are corresponding to the patterns in the literature. The findings can be significant and useful to guide clinical diagnosis.

연구 동기 및 목표

• 딥러닝 모델이 피부병변을 피부현미경 영상에서 분류하는 데 사용하는 근거를 해석하는 것.
• 임상적 피부과 기준과 일치하는 방식으로 분류 결정에 기여하는 주요 특징(생물학적 마커)을 규명하는 것.
• 임상적 관련성을 확보하기 위해 전문 피부과의사 평가와 모델의 해석을 대조 검증하는 것.
• 재학습 없이도 예측을 설명할 수 있는 방법을 개발하여 임상용 인공지능 응용 프로그램의 신뢰성과 투명성을 높이는 것.

제안 방법

• ISIC 2018 피부병변 데이터셋을 기반으로 미세조정된 ResNet50 및 VGG 아키텍처를 사용한 딥러닝 분류기가 다중분류를 위해 훈련되었다.
• 예측 차이 분석을 위해 다양한 크기의 패치(5, 10, 15, 20)를 체계적으로 손상시키고 모델의 자신감 변화를 측정하였다.
• 가우시안 분포를 사용한 조건부 샘플링을 통해 손상된 패치를 생성하였으며, 여러 시행 동안의 예측 이동을 기반으로 각 픽셀의 증거의 무게(WE)를 계산하였다.
• 특징의 포착과 설명 가능성의 균형을 고려해 최적의 윈도우 크기로 15를 선택하였으며, 결과는 빨간색(긍정적 증거)과 파란색(부정적 증거) 색상으로 시각화되었다.
• 이 방법은 재학습 없이도 입력의 제어된 변형에 따른 활성화 변화에 기반해 핵심 특징의 국소화를 가능하게 한다.
• 두 명의 독립된 피부과 전문의가 해석 결과를 검토하여 강조된 특징이 기존 임상 생물학적 마커와 일치함을 확인하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 피부병변을 분류하기 위해 어떤 영상 특징에 의존하는가?
• RQ2 모델이 규명한 특징들은 알려진 임상적 피부과 생물학적 마커와 일치하는가?
• RQ3 패치 단위의 손상 기반 방법은 피부병변 분류에서 딥러닝 예측을 효과적으로 해석할 수 있는가?
• RQ4 모델의 주의 집중 방식은 병변 유형에 따라 어떻게 다를지, 그리고 전문의 진단 기준과 일관성이 있는가?

주요 결과

• 모델은 악성모세포종(MEL)의 경우 어두운, 농도가 높고 비대칭적인 구조를 주요 증거로 식별하였으며, 이는 파란백색 혈관막과 색소망 부재와 같은 임상적 징후와 일치한다.
• 색소모반(NV)의 경우 색소망과 구형 구조를 강조하였으며, 이는 임상적으로 인정받는 진단 특징이다.
• 기저세포암(BCC)은 작은, 군집된 파란-gray 구형 구조와 연관되어 있었으며, 피부과 관찰과 일치하였다.
• 선천성 각화증(AKIEC)은 고리형-립다형 패턴과 흰색 망막을 둘러싼 모낭 개구부와 관련이 있었으며, 전문가에 의해 진단 지표로 확인되었다.
• 피부섬유종(DF)의 경우 섬세한 외곽 색소망과 같은 피부현미경 특징이 강조되었으며, 임상적 기술과 일치하였다.
• 혈관성(VASC) 병변은 뚜렷하고 타원형의 구조를 보였으며, 혈관 유공과 유사했으며, 주변 피부 특징에 거의 의존하지 않았다.