[논문 리뷰] Multiscale Deep Neural Networks for Multiclass Tissue Classification of Histological Whole-Slide Images

Rune Wetteland, Kjersti Engan외 3명|arXiv (Cornell University)|2019. 09. 03.

AI in cancer detection참고 문헌 6인용 수 12

한 줄 요약

이 논문은 요오균성 종양의 조직학적 전체 슬라이드 이미지(WSI)를 6종류의 조직 유형—우로세포, 스토마, 근육, 손상된 조직, 혈액, 배경—으로 분류하기 위해 VGG16 기반의 CNN을 사용하는 다중 척도 딥 러닝 접근법을 제안한다. 25x, 100x, 400x의 다양한 확대 수준에서 특징을 융합함으로써, DI-CNN 및 TRI-CNN 모델은 F1-스코어 0.986을 달성하여 단일 척도 기반 베이스라인을 크게 능가하며, 이는 다중 척도 특징 융합이 진단적 조직 영역 탐지의 정확도를 향상시킨다는 것을 보여준다.

ABSTRACT

Correct treatment of urothelial carcinoma patients is dependent on accurate grading and staging of the cancer tumour. This is determined manually by a pathologist by examining the histological whole-slide images (WSI). The large size of these images makes this a time-consuming and challenging task. The WSI contain a variety of tissue types, and a method for defining diagnostic relevant regions would have several advantages for visualization as well as further input to automated diagnosis systems. We propose an automatic multiscale method for classification of tiles from WSI of urothelial carcinoma patients into six classes. Three architectures based on convolutional neural network (CNN) were tested: MONO-CNN (400x), DI-CNN (100x/400x) and TRI-CNN (25x/100x/400x). The preliminary results show that the two multiscale models performed significantly better than the mono-scale model, achieving an F1-score of 0.986, substantiating that utilising multiple scales in the model aids the classification accuracy.

연구 동기 및 목표

• 전체 슬라이드 이미지(WSI)에서 요오균성 종양의 수동적이고 시간이 오래 걸리며 일관성 없는 조직 분류 문제를 해결하기 위해.
• 큰 WSI에서 진단적으로 관련 있는 조직 영역을 자동으로 식별하는 방법을 개발하여 병리학자와 컴퓨터 지원 진단 시스템을 지원하기 위해.
• 단일 척도 접근 방식과 비교하여 다중 공간 척도(25x, 100x, 400x)를 통합함으로써 다중 클래스 조직 분류 성능이 향상되는지 평가하기 위해.
• MONO-CNN(400x), DI-CNN(100x/400x), TRI-CNN(25x/100x/400x)의 세 가지 CNN 아키텍처를 정확도, 강건성, 파rameter 효율성 측면에서 비교하기 위해.

제안 방법

• 25x, 100x, 400x의 세 가지 확대 수준에서 WSI에서 128×128×3 크기의 타일을 추출하였으며, 각 척도에서 동일한 중심 픽셀을 유지하였다.
• 세 모델을 훈련: MONO-CNN(단일 400x 입력), DI-CNN(병렬로 100x 및 400x 입력 두 개), TRI-CNN(병렬로 25x, 100x, 400x 입력 세 개).
• 각 입력은 고정된 가중치를 가진 사전 훈련된 VGG16 네트워크를 통해 처리되어 특징 추출기로 기능하였다.
• 다양한 척도에서 유도된 특징은 분류 헤드에 통합되기 전에 연결되었으며, 이 헤드에는 두 개의 완전 연결층이 포함되어 있었고, 각 층 뒤로 드롭아웃 및 소프트맥스 레이어가 따라와 6개 클래스의 출력을 제공하였다.
• 모든 모델에 대해 15개의 구성(FC 뉴런: 512–4096, 드롭아웃: 0–0.5)에서 초모수 튜닝을 수행하였으며, 강건성을 확보하기 위해 3중 교차 검증 훈련 및 평균화를 실시하였다.
• 모델 선택은 검증 손실 기반 조기 정지 기법을 사용하였고, 최종 평가를 위해 최고 성능을 기록한 에포크의 가중치를 복원하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델에 다중 공간 척도(25x, 100x, 400x)를 통합함으로써 요오균성 종양 WSI에서 다중 클래스 조직 분류 정확도가 단일 척도 접근 방식보다 향상되는가?
• RQ2 다양한 다중 척도 아키텍처(DI-CNN 및 TRI-CNN)는 6종류의 조직 유형을 분류할 때 성능과 파rameter 효율성 측면에서 어떻게 비교되는가?
• RQ3 다중 척도 접근 방식은 단일 척도 모델에 비해 분류 성능의 분산을 어느 정도 감소시키는가?
• RQ4 다중 척도 CNN은 병리학자와 자동 진단 시스템을 위한 영역 관심(ROI) 추출 도구로 효과적으로 기능할 수 있는가?

주요 결과

• DI-CNN 및 TRI-CNN 모델은 각각 F1-스코어 0.986 ± 0.002 및 0.986 ± 0.003을 기록하였으며, 이는 MONO-CNN 모델의 F1-스코어 0.944 ± 0.007보다 유의미하게 높은 성능을 보였다.
• 다중 척도 모델은 메트릭스의 표준편차가 낮아, 분류 성능에서 더 높은 강건성과 일관성을 보였다.
• DI-CNN 모델은 3600만 개의 파rameter를 가졌음에도 불구하고, 더 큰 TRI-CNN(4700만 개의 파ram터)와 동일한 F1-스코어를 달성하여, 이중 척도 융합이 충분하고 더 효율적임을 시사한다.
• 다중 척도 모델은 이전의 오토인코더 기반 방법(F1-스코어: 0.934 ± 0.061)보다 성능이 뛰어나, 명시적인 다중 척도 특징 융합의 이점이 확인되었다.
• 결과적으로 향상된 성능는 아키텍처의 복잡성보다는 확장된 시야와 다중 척도적 맥락 덕분임을 시사한다.