[논문 리뷰] A Multi-resolution Model for Histopathology Image Classification and Localization with Multiple Instance Learning

Jiayun Li, Wenyuan Li외 5명|arXiv (Cornell University)|2020. 11. 05.

AI in cancer detection참고 문헌 60인용 수 6

한 줄 요약

이 논문은 슬라이드 수준의 레이블만을 사용하여 전립선암의 악성도를 분류하고 의심스러운 영역을 국소화하는 다중 해상도 다중 예비 학습(MRMIL) 모델을 제안한다. 주의 맵과 계층적 특징 추출을 활용하여, 모델은 92.7%의 정확도와 81.8%의 코헨의 카파 값을 얻었으며, 외부 데이터셋에서 암 탐지에 대해 98.2%의 AUROC를 달성했다.

ABSTRACT

Histopathological images provide rich information for disease diagnosis. Large numbers of histopathological images have been digitized into high resolution whole slide images, opening opportunities in developing computational image analysis tools to reduce pathologists' workload and potentially improve inter- and intra- observer agreement. Most previous work on whole slide image analysis has focused on classification or segmentation of small pre-selected regions-of-interest, which requires fine-grained annotation and is non-trivial to extend for large-scale whole slide analysis. In this paper, we proposed a multi-resolution multiple instance learning model that leverages saliency maps to detect suspicious regions for fine-grained grade prediction. Instead of relying on expensive region- or pixel-level annotations, our model can be trained end-to-end with only slide-level labels. The model is developed on a large-scale prostate biopsy dataset containing 20,229 slides from 830 patients. The model achieved 92.7% accuracy, 81.8% Cohen's Kappa for benign, low grade (i.e. Grade group 1) and high grade (i.e. Grade group >= 2) prediction, an area under the receiver operating characteristic curve (AUROC) of 98.2% and an average precision (AP) of 97.4% for differentiating malignant and benign slides. The model obtained an AUROC of 99.4% and an AP of 99.8% for cancer detection on an external dataset.

연구 동기 및 목표

• 전체 슬라이드 영상 분석을 위한 약한 감독 기반 딥 러닝 모델을 개발하여 병리학자들의 작업 부담을 줄이기 위해.
• 비용이 많이 드는 픽셀 수준 또는 패치 수준의 레이블이 없이도 조직병리학적 슬라이드에서 의심스러운 영역을 국소화하기 위해.
• 자동화되고 해석 가능한 분류를 통해 전립선암 분류의 관찰자 간 및 관찰자 내 일致성을 향상시키기 위해.
• 주요 스크리닝 및 병리학 워크플로우에서의 두 번째 검토를 지원하는 임상적으로 구현 가능한 CAD 도구를 개발하기 위해.

제안 방법

• 모델는 두 단계 프레임워크를 사용한다: 주의 맵을 통해 주요 영역을 식별하는 검출 단계와, 해당 영역에서 추출한 고해상도 타일을 사용하는 분류 단계.
• 다양한 배율 수준에서 전체 슬라이드 영상에서 다중 해상도 특징을 추출하여 전반적인 맥락과 세밀한 조직 구조를 모두 포착한다.
• 슬라이드 수준의 레이블을 사용한 다중 예비 학습(MIL)이 적용되며, 각 슬라이드는 패치의 '백'으로 간주되고, 모델은 가장 예측력 있는 패치를 식별하도록 학습된다.
• 주의 모듈은 주의성 맵을 생성하여 진단적으로 관련성이 높은 영역을 강조함으로써 모델의 해석 가능성과 암성 영역에 대한 집중도를 향상시킨다.
• 학습 중에 인스턴스 드롭아웃을 적용하여 모델의 정규화를 도모하고 다양한 조직 형태에 대한 일반화 능력을 향상시킨다.
• 예측을 해석하고 주의 맵이 병리학적으로 관련성이 높은 특징과 일치하는지 확인하기 위해 Grad-CAM 시각화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 슬라이드 수준의 레이블만을 사용하여 약한 감독 기반 딥 러닝 모델이 전체 슬라이드 영상에서 암성 영역을 국소화할 수 있는가?
• RQ2 이질적인 조직병리학적 슬라이드에 대해 다중 해상도 특징 학습이 분류 성능 향상에 얼마나 효과적인가?
• RQ3 모델이 생성한 주의 맵이 전문가가 식별한 병리학적으로 관련성이 높은 영역과 어느 정도 일치하는가?
• RQ4 세밀한 레이블이 필요 없이도 모델이 암 탐지 및 악성도 예측에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MRMIL 모델은 20,229장의 슬라이드로 구성된 데이터셋에서 양성, 저-grade(GG1), 고-grade(GG ≥ 2) 전립선암 분류에 대해 92.7%의 정확도와 81.8%의 코헨의 카파 값을 기록했다.
• 내부 데이터셋에서 악성과 양성 슬라이드를 구분하기 위해 98.2%의 수신기 작동 특성 곡선 아래 면적(AUROC)을 달성했다.
• 외부 데이터셋에서 모델은 암 탐지에 대해 99.4%의 AUROC와 99.8%의 평균 정밀도를 기록하여 뛰어난 일반화 능력을 입증했다.
• 주목적 기반 타일 선택이 기본 타일 선택보다 코헨의 카파를 1% 향상시켰으며, 인스턴스 드롭아웃은 성능을 3% 이상 향상시켰다.
• Grad-CAM 시각화 결과, 모델이 아카이널 아데노카르시노마 및 전립선 내과성 카르시노마와 같은 생물학적으로 관련성이 높은 영역에 집중하고 있음을 확인했으며, 후자는 명시적으로 학습되지 않았음에도 불구하고 그러한 영역을 잘 식별했다.
• 특징 공간 분석 결과, 악성 슬라이드는 뚜렷한 군집을 형성하였고, 저-grade 및 고-grade 슬라이드는 임베딩 공간에서 분리 가능했으며, 이는 효과적인 표현 학습을 의미한다.