[논문 리뷰] Self supervised learning improves dMMR/MSI detection from histology slides across multiple cancers

Charlie Saillard, Olivier Dehaene외 5명|arXiv (Cornell University)|2021. 09. 13.

Genetic factors in colorectal cancer인용 수 19

한 줄 요약

이 연구는 The Cancer Genome Atlas (TCGA)의 조직형광도 이미지에서 자기지도 학습(self-supervised learning, SSL) 방법을 사용하여 깊은 신경망을 사전학습하는 방식을 제안하며, 대장암 및 위암에서 dMMR/MSI 상태를 크게 향상시킨다. 이 방법은 대장암과 위암에서 각각 0.92와 0.83의 최고 성능 AUC를 달성하였고, 외부 코hort에 대한 강력한 일반화 능력과 생물학적으로 의미 있는 조직학적 패턴 식별 능력을 향상시켰다.

ABSTRACT

Microsatellite instability (MSI) is a tumor phenotype whose diagnosis largely impacts patient care in colorectal cancers (CRC), and is associated with response to immunotherapy in all solid tumors. Deep learning models detecting MSI tumors directly from H&E stained slides have shown promise in improving diagnosis of MSI patients. Prior deep learning models for MSI detection have relied on neural networks pretrained on ImageNet dataset, which does not contain any medical image. In this study, we leverage recent advances in self-supervised learning by training neural networks on histology images from the TCGA dataset using MoCo V2. We show that these networks consistently outperform their counterparts pretrained using ImageNet and obtain state-of-the-art results for MSI detection with AUCs of 0.92 and 0.83 for CRC and gastric tumors, respectively. These models generalize well on an external CRC cohort (0.97 AUC on PAIP) and improve transfer from one organ to another. Finally we show that predictive image regions exhibit meaningful histological patterns, and that the use of MoCo features highlighted more relevant patterns according to an expert pathologist.

연구 동기 및 목표

• 깊이 학습을 사용하여 H&E 염색 전체 슬라이드 이미지에서 dMMR/MSI의 정확도를 향상시키는 것.
• 의료 영상에서 ImageNet 사전학습 모델의 한계를 극복하기 위해 조직학 데이터 기반 자기지도 학습을 활용하는 것.
• 다양한 암 종류와 외부 데이터셋 간의 모델 일반화 능력을 향상시키는 것.
• 자기지도 학습 특징이 MSI와 관련된 생물학적으로 의미 있는 조직학적 패턴을 강조하는지 검증하는 것.
• 일반적으로 시행되지 않는 저 MSI 유병률 암에서 비용 효율적이고 광범위한 MSI 스크리닝을 가능하게 하는 것.

제안 방법

• 라벨 없이 TCGA의 H&E 염색 전체 슬라이드 이미지에서 MoCo V2를 사용해 ResNet-50 기반 모델을 사전학습함.
• TCGA에서 1,000여 장의 대장암 및 500여 장의 위암 슬라이드를 사용해 대조 학습(contrastive learning)을 통해 일반화 가능한 특징을 학습함.
• 고정된 MoCo로 학습된 특징 위에 선형 분류기들을 피팅하여 MSI/MSS 분류를 위한 MeanPool, Chowder, DeepMIL 아키텍처를 사용해 미세조정(fine-tuned).
• 교차검증 및 외부 코hort 테스트를 포함한 다양한 데이터셋과 평가 프로토콜에서 ImageNet 사전학습 모델과의 성능를 비교함.
• 타일 수준의 특징을 전체 슬라이드 예측으로 통합하기 위해 주의 기반의 MIL 모델(DeepMIL, Chowder)을 사용함.
• 주의 맵 분석과 전문가가 주석 처리한 관심 영역을 비교하여 특징의 해석 가능성(interpretability)을 검증함.

실험 결과

연구 질문

• RQ1 조직학 이미지에서 자기지도 학습이 대장암 및 위암에서 MSI 탐지에 있어 ImageNet 사전학습보다 우월한가?
• RQ2 MoCo 기반 특징 학습이 PAIP 대장암 데이터셋과 같은 새로운 코호트로의 일반화 능력을 향상시키는가?
• RQ3 SSL 특징이 전문가 병리의사에 의해 확인된 임상적으로 유의미한 조직학적 패턴(예: 종양 침윤성 림프구, 면역세포-rich 간질 부위)을 강조하는가?
• RQ4 자기지도 학습 기반 모델의 성능가 ImageNet 사전학습에 의존하는 최고 성능 모델과 다암 종 간 전이 학습에서 어떻게 비교되는가?
• RQ5 조직학 데이터만으로 사전학습을 수행할 경우, 다양한 암 종 간 전이 능력이 얼마나 향상되는가?

주요 결과

• MoCo V2 사전학습 모델은 TCGA 대장암(TCGA-CRC)에서 AUC 0.92를 달성하여 교차검증에서 ImageNet 사전학습 모델보다 +0.07 향상됨.
• 위암(TCGA-Gastric)에서는 AUC 0.83를 기록하여 ImageNet 기반 모델 대비 +0.06 향상됨.
• 외부 대장암 코호트(PAIP)로의 일반화 능력이 뛰어나 AUC 0.97을 달성하여 강력한 전이 능력을 보임.
• 대장암 및 위암 데이터를 함께 사전학습한 경우(MoCo-CRC-Gastric), 모든 세 가지 분류기(MeanPool, Chowder, DeepMIL)에서 AUC 0.88를 달성하여 다기관 전이 능력을 입증함.
• 전문 병리의사들이 확인한 lin, MoCo 특징에서 유도된 주의 맵은 종양 침윤성 림프구 및 면역세포가 풍부한 간질 부위와 같은 임상적으로 유의미한 영역을 강조함.
• ImageNet 사전학습 모델의 특징에 비해 MoCo 기반 특징이 더 많은 관련성 있고 생물학적으로 해석 가능한 패턴을 일관되게 강조함.