[논문 리뷰] DiagSet: a dataset for prostate cancer histopathological image classification

Michał Koziarski, Bogusław Cyganek외 9명|arXiv (Cornell University)|2021. 05. 09.

AI in cancer detection인용 수 12

한 줄 요약

이 논문은 전립선암 진단이 포함된 430장의 전체 슬라이드 이미지(WSI)를 포함하는 대규모 조직병리학 데이터셋인 DiagSet을 소개하고, 다양한 배율에서의 앙상블 컨volution 신경망(CNN)을 사용한 딥러닝 프레임워크를 제안하여 암 조직을 분류한다. 이 방법은 조각 수준에서 94.6%의 정확도를 달성하였으며, 통계적 가설 검정과 전문가 상관 분석을 통해 스캔 수준 진단에서 인간 병리학자들과 강한 일치도(스피어만 상관계수 r = 0.75–0.83)를 보였다.

ABSTRACT

Cancer diseases constitute one of the most significant societal challenges. In this paper, we introduce a novel histopathological dataset for prostate cancer detection. The proposed dataset, consisting of over 2.6 million tissue patches extracted from 430 fully annotated scans, 4675 scans with assigned binary diagnoses, and 46 scans with diagnoses independently provided by a group of histopathologists can be found at https://github.com/michalkoziarski/DiagSet. Furthermore, we propose a machine learning framework for detection of cancerous tissue regions and prediction of scan-level diagnosis, utilizing thresholding to abstain from the decision in uncertain cases. The proposed approach, composed of ensembles of deep neural networks operating on the histopathological scans at different scales, achieves 94.6% accuracy in patch-level recognition and is compared in a scan-level diagnosis with 9 human histopathologists showing high statistical agreement.

연구 동기 및 목표

• 훈련된 조직병리학자가 부족한 상황에서 신뢰할 수 있는 자동 전립선암 진단의 필요성을 해결하기 위해.
• 딥러닝 모델의 훈련과 벤치마킹를 위한 표준화된 글리슨 등급이 부여된 전체 슬라이드 이미지(WSI)의 대규모 완전한 애너테이션 데이터셋을 구축하기 위해.
• 다중 척도 딥 네트워크와 통계적 가설 검정을 융합한 기계학습 프레임워크를 개발하여 진단 신뢰도를 향상시키고 가짜 양성 결과를 줄이기 위해.
• 상관 계수 지표와 통계적 검증을 사용하여 인간 전문가와의 성능 평가를 수행하기 위해.
• 향후 연구 지침을 위해 모델 성능에 악영향을 미치는 요인들—예: 레이블 노이즈, 데이터 불균형, 데이터 양 부족—을 규명하고 분석하기 위해.

제안 방법

• DiagSet 데이터셋은 430장의 완전히 애너테이션 처리된 WSI, 4,675개의 이진 진단(암/비암) 스캔, 그리고 9명의 병리학자가 공통 진단한 46개의 스캔을 포함한다.
• 다양한 배율 수준에서 추출한 조직 조각에 대해 사전 학습된 여러 CNN 아키텍처(AlexNet, VGG16, VGG19, ResNet50, InceptionV3)를 미세조정하였다.
• 다양한 배율 스케일에서 훈련된 개별 네트워크의 예측을 조합하여 앙상블 모델을 구축하였으며, 클래스 확률의 가중 평균을 사용하였다.
• 예측의 신뢰도를 평가하기 위해 비모수적( Mann-Whitney U, Wilcoxon signed-rank) 및 모수적(Student's t-test) 가설 검정을 적용한 통계적 검증 프레임워크를 도입하였다.
• 신뢰도가 낮은 경우 의사결정을 유보하는 임계값 기반 전략을 사용하여 시스템의 내성과 가짜 진단을 줄였다.
• 46개의 익명화된 WSI에서 모델 출력과 9명의 인간 병리학자 출력을 비교하여 스캔 수준의 진단을 평가하였다. 스피어만 순위 상관계수를 사용하였다.

실험 결과

연구 질문

• RQ1 다양한 배율에서의 딥러닝 앙상블 모델은 대규모 전문가 애너테이션 데이터셋을 기반으로 조직병리학적 WSI에서 전립선암을 높은 정확도로 분류할 수 있는가?
• RQ2 딥러닝 모델의 성능은 인간 병리학자들과 비교하여 조직병리학적 진단의 일관성과 일치도 측면에서 어떻게 평가되는가?
• RQ3 조직병리학 이미지 분류 작업에서 모델 성능에 악영향을 미치는 핵심 요인들—예: 레이블 노이즈, 데이터 불균형, 데이터 양 부족—은 무엇인가?
• RQ4 통계적 가설 검정은 불확실성 인식 의사결정을 가능하게 하여 딥러닝 기반 진단의 신뢰도를 얼마나 향상시킬 수 있는가?
• RQ5 기계학습 시스템은 인간 전문가의 진단 일치도 수준—즉, 전문가 간 변동성 수준—에 도달할 수 있는가?

주요 결과

• 제안된 딥 네트워크 앙상블 모델은 이진 조각 수준 분류에서 94.6%의 정확도를 달성하였으며, 최적 설정에서는 94.67%에 이를 정도로 높았다.
• 기계학습 시스템은 인간 병리학자들과 강한 상관관계를 보였으며, 46개의 WSI에서 스피어만 상관계수는 0.75에서 0.83 사이로 나타났다.
• 인간 병리학자들 간의 최저 상관계수도 0.64였으며, 이는 모델의 성능가 인간 전문가 간 변동성의 범위 내에 있음을 시사한다.
• 통계적 가설 검정 프레임워크는 불확실한 예측을 효과적으로 식별하여, 신뢰도가 낮을 경우 시스템이 결정을 유보할 수 있도록 하였다.
• 연구에서는 레이블 노이즈, 데이터 불균형, 데이터 양 부족이 모델 성능에 부정적 영향을 미치는 핵심 요인으로 규명되었으며, 향후 연구를 위한 방향성을 제시하였다.
• DiagSet 데이터셋은 https://ai-econsilio.diag.pl 에 공개되어 있어 재현성과 계산 병리학 분야의 추가 벤치마킹을 지원한다.