[논문 리뷰] DeepSMILE: Self-supervised heterogeneity-aware multiple instance learning for DNA damage response defect classification directly from H&E whole-slide images

Yoni Schirris, Efstratios Gavves외 3명|arXiv (Cornell University)|2021. 07. 20.

AI in cancer detection참고 문헌 39인용 수 12

한 줄 요약

DeepSMILE는 히스토파스ولوج리 이미지의 세포질적 이질성에 대응하는 자기지도 학습 기반 다중 예비 학습 프레임워크로, 픽셀 또는 타일 수준의 레이블 없이 H&E 전체 슬라이드 이미지에서 DNA 손상 반응 결함—동질성 재조합 결함(HRD) 및 미세위성 불안정성(MSI)—를 직접 분류한다. 대비 자기지도 사전 학습과 이질성 인식 기반 딥 다중 예비 학습을 융합함으로써, 다중 기관의 유방 및 대장암 데이터셋에서 HRD에 대해 83.79±1.25%, MSI에 대해 90.32±3.58%의 AUC 성능을 향상시킨다.

ABSTRACT

We propose a Deep learning-based weak label learning method for analysing whole slide images (WSIs) of Hematoxylin and Eosin (H&E) stained tumorcells not requiring pixel-level or tile-level annotations using Self-supervised pre-training and heterogeneity-aware deep Multiple Instance LEarning (DeepSMILE). We apply DeepSMILE to the task of Homologous recombination deficiency (HRD) and microsatellite instability (MSI) prediction. We utilize contrastive self-supervised learning to pre-train a feature extractor on histopathology tiles of cancer tissue. Additionally, we use variability-aware deep multiple instance learning to learn the tile feature aggregation function while modeling tumor heterogeneity. Compared to state-of-the-art genomic label classification methods, DeepSMILE improves classification performance for HRD from $70.43\pm4.10\%$ to $83.79\pm1.25\%$ AUC and MSI from $78.56\pm6.24\%$ to $90.32\pm3.58\%$ AUC in a multi-center breast and colorectal cancer dataset, respectively. These improvements suggest we can improve genomic label classification performance without collecting larger datasets. In the future, this may reduce the need for expensive genome sequencing techniques, provide personalized therapy recommendations based on widely available WSIs of cancer tissue, and improve patient care with quicker treatment decisions - also in medical centers without access to genome sequencing resources.

연구 동기 및 목표

• 세부 레이블이 필요 없이 H&E 전체 슬라이드 이미지에서 암의 유전자 결함을 분류하기 위한 약한 감독 기반 딥 러닝 방법을 개발하는 것.
• 분류 과정에서 타일 수준의 특징에서의 변동성을 모델링함으로써 조직병리학적 이미지의 종양 이질성을 다루는 것.
• 비라벨링된 조직병리학적 타일에서 자기지도 사전 학습을 통해 유전자 레이블 분류 성능을 향상시키는 것.
• 유전자 시퀀싱이 불가능한 자원이 제한된 환경에서 HRD 및 MSI를 정확하게 예측할 수 있도록 하는 것.
• 광범위하게 이용 가능한 H&E 염색 전체 슬라이드 이미지를 활용해 고비용의 게놈 시퀀싱에 대한 의존도를 줄이고 개인 맞춤 치료 권고를 가능하게 하는 것.

제안 방법

• H&E 염색 전체 슬라이드 이미지에서 유래한 조직병리학적 타일에 대해 대비 자기지도 사전 학습을 통해 특징 추출기를 사전 학습하는 데 사용한다.
• 종양의 공간적 이질성을 모델링하면서 타일 수준의 특징을 집계하는 데 이질성 인식 기반 딥 다중 예비 학습(MIL) 프레임워크를 적용한다.
• 픽셀 또는 타일 수준의 레이블이 필요 없이 슬라이드 수준의 약한 레이블(예: HRD 또는 MSI 상태)을 활용해 엔드 투 엔드 학습을 수행한다.
• 전체 슬라이드 이미지 내 타일 간 특징의 변동성을 고려하는 가속화 가능한 집계 함수를 활용한다.
• 일관성 있는 일반화를 확보하기 위해 다중 기관의 유방 및 대장암 전체 슬라이드 이미지 데이터셋을 기반으로 모델을 훈련시킨다.
• 자기지도 사전 학습 단계에서 대비 데이터 증강 기반의 구분 가능한 표현을 학습하기 위해 시아미즈 네트워크 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 비라벨링된 조직병리학적 타일에서 자기지도 사전 학습을 수행하면 HRD 및 MSI에 대한 후속 유전자 레이블 분류 성능이 향상되는가?
• RQ2 변동성 인식 기반 MIL 프레임워크를 통해 종양 이질성을 모델링할 경우, 기존의 표준 MIL 접근 방식에 비해 분류 정확도가 얼마나 향상되는가?
• RQ3 픽셀 수준의 레이블이 필요 없이 약한 감독 기반 딥 러닝 모델이 HRD 및 MSI 예측에 대해 높은 AUC 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 제시된 방법은 다양한 염색 및 영상 촬영 프로토콜을 가진 다중 기관 데이터셋 간에 일반화 가능한가?
• RQ5 자기지도 학습과 이질성 인식 기반 MIL의 통합이 임상 의사결정에서 고비용의 게놈 시퀀싱에 대한 필요성을 줄이는가?

주요 결과

• DeepSMILE는 다중 기관의 유방암 데이터셋에서 HRD 분류의 AUC를 70.43±4.10%에서 83.79±1.25%로 향상시켰다.
• 대장암 데이터셋에서 MSI 예측의 AUC는 78.56±6.24%에서 90.32±3.58%로 증가하였다.
• 더 큰 레이블링된 데이터셋을 수집하지 않아도 성능 향상가 가능함을 입증하여, 자기지도 사전 학습의 효과성을 보여주었다.
• 모델는 다중 기관 데이터셋 간에 일반화되었으며, 염색 및 영상 촬영 프로토콜의 변동성에 대해 강건함을 보였다.
• 이 프레임워크는 고비용의 게놈 시퀀싱에 의존하지 않고 표준 H&E WSIs에서 직접 유전자 결함 분류를 정확하게 수행할 수 있게 하였다.
• 결과는 DeepSMILE가 유전자 시퀀싱에 접근할 수 없는 임상 환경에서 개인 맞춤 치료 권고를 지원하는 데 기여할 수 있음을 시사한다.