[논문 리뷰] Interpretable Classification from Skin Cancer Histology Slides Using Deep Learning: A Retrospective Multicenter Study

Peizhen Xie, Ke Zuo외 4명|arXiv (Cornell University)|2019. 04. 12.

Cutaneous Melanoma Detection and Management참고 문헌 14인용 수 24

한 줄 요약

이 연구는 다양한 배율에서 H&E 염색 전면 슬라이드 이미지에서 피부암을 분류하기 위해 ResNet50와 Vgg19를 사용한 해석 가능한 딥러닝 모델을 개발한다. 2,241장의 전면 슬라이드 이미지에서 유도된 995만 개의 패치로 훈련된 모델은 악성 멜라노마와 양성 뉴비를 구분하고 고배율에서 뉴비를 분류하는 데 뛰어난 성능을 보이며, 시각화 기법을 통해 병리의사의 진단 해석 가능성을 향상시킨다.

ABSTRACT

For diagnosing melanoma, hematoxylin and eosin (H&E) stained tissue slides remains the gold standard. These images contain quantitative information in different magnifications. In the present study, we investigated whether deep convolutional neural networks can extract structural features of complex tissues directly from these massive size images in a patched way. In order to face the challenge arise from morphological diversity in histopathological slides, we built a multicenter database of 2241 digital whole-slide images from 1321 patients from 2008 to 2018. We trained both ResNet50 and Vgg19 using over 9.95 million patches by transferring learning, and test performance with two kinds of critical classifications: malignant melanomas versus benign nevi in separate and mixed magnification; and distinguish among nevi in maximum magnification. The CNNs achieves superior performance across both tasks, demonstrating an AI capable of classifying skin cancer in the analysis from histopathological images. For making the classifications reasonable, the visualization of CNN representations is furthermore used to identify cells between melanoma and nevi. Regions of interest (ROI) are also located which are significantly helpful, giving pathologists more support of correctly diagnosis.

연구 동기 및 목표

• 피부암 조직학적 슬라이드의 복잡한 조직 구조를 해석할 수 있는 딥러닝 시스템을 개발한다.
• 다중 기관, 후향적 데이터셋을 통해 조직병리학적 이미지의 형태 다양성을 다룬다.
• 패치 기반 컨volutional 네트워크를 활용해 악성 멜라노마와 양성 뉴비의 진단 정확도를 향상시킨다.
• 모델 예측의 해석 가능한 시각화를 생성하여 임상적 유용성을 높인다.
• 더 신뢰할 수 있는 진단을 위해 병리의사가 관심 영역(ROI)을 국소화할 수 있도록 지원한다.

제안 방법

• 2008~2018년 기간 동안 1,321명의 환자에서 확보한 H&E 염색 조직 절편을 기반으로 2,241장의 전면 슬라이드 이미지로 구성된 다기관 데이터베이스를 구축했다.
• 훈련을 위해 다양한 배율에서 전면 슬라이드 이미지에서 995만 개 이상의 이미지 패치를 추출했다.
• 패치 데이터셋에서 전이 학습을 통해 사전 훈련된 ResNet50와 Vgg19 모델을 미세 조정했다.
• 두 가지 분류 과제에서 모델 성능을 평가했다: 악성 멜라노마 대 양성 뉴비(별도 및 혼합 배율), 그리고 최대 배율에서의 뉴비 분류.
• 클래스 활성 맵(CAM) 및 기타 시각화 기법을 적용하여 CNN 특징을 해석하고 관심 영역(ROI)을 국소화했다.
• 주의 맵과 선명도 시각화를 사용해 생물학적으로 관련성이 있는 구조(예: 이방성 멜라노사이트)를 강조하여 임상적 검증을 수행했다.

실험 결과

연구 질문

• RQ1 딥 컨volution 네트워크는 H&E 염색 전면 슬라이드 이미지를 사용해 악성 멜라노마와 양성 뉴비를 정확하게 분류할 수 있는가?
• RQ2 다른 배율 수준에서 훈련 및 테스트할 경우 모델 성능은 어떻게 변하는가?
• RQ3 모델의 예측을 주의 기반 시각화 기법을 통해 병리의사가 이해하고 지원받을 수 있는가?
• RQ4 멜라노마와 양성 뉴비를 구분하는 데 가장 예측력 있는 조직 영역은 어디인가?
• RQ5 모델이 ROI를 국소화함으로써 진단 자신감을 높이고 독립적인 독해자 간 변동성을 줄일 수 있는가?

주요 결과

• 딥러닝 모델은 악성 멜라노마 대 양성 뉴비 및 뉴비 하위형 분류 과제에서 뛰어난 분류 성능을 달성했다.
• 995만 개 이상의 패치에서 ResNet50와 Vgg19를 사용한 전이 학습을 통해 다양한 조직학적 패턴에서 강력한 특징 추출이 가능했다.
• 시각화 기법은 이방성 멜라노사이트와 구조적 비정상성 등을 성공적으로 강조했으며, 병리학적 특징과 일치했다.
• 관심 영역(ROI) 국소화 기능은 병리의사가 진단을 내릴 때 해석 가능하고 생물학적으로 관련성이 있는 단서를 제공했다.
• 혼합 배율 입력에서도 일관된 성능을 보여 일반화 능력이 있음을 입증했다.
• 해석 가능한 출력은 종양성 악성 특징과 관련된 핵심 형태학적 특징을 식별함으로써 진단 자신감을 향상시켰다.