[논문 리뷰] Fully transformer-based biomarker prediction from colorectal cancer histology: a large-scale multicentric study

Sophia J. Wagner, Daniel Reisenbüchler외 29명|arXiv (Cornell University)|2023. 01. 23.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

이 연구는 대장암 조직학적 슬라이드에서 종양 마커를 종합적으로 예측하기 위한 완전한 트랜스포머 기반 딥러닝 파이프라인을 소개하며, 수술적 절제편과 내 endoscopic 생검편 모두에서 임상 수준의 성능을 달성한다. 10개의 다기관 코hort에서 9,000명 이상의 환자로 훈련된 모델은 미세위성 불안정성(MSI) 예측에서 97% 민감도와 99% 음성 예측값을 기록하여 기존의 CNN 기반 방법에 비해 뛰어난 일반화 능력과 데이터 효율성을 보여준다.

ABSTRACT

Background: Deep learning (DL) can extract predictive and prognostic biomarkers from routine pathology slides in colorectal cancer. For example, a DL test for the diagnosis of microsatellite instability (MSI) in CRC has been approved in 2022. Current approaches rely on convolutional neural networks (CNNs). Transformer networks are outperforming CNNs and are replacing them in many applications, but have not been used for biomarker prediction in cancer at a large scale. In addition, most DL approaches have been trained on small patient cohorts, which limits their clinical utility. Methods: In this study, we developed a new fully transformer-based pipeline for end-to-end biomarker prediction from pathology slides. We combine a pre-trained transformer encoder and a transformer network for patch aggregation, capable of yielding single and multi-target prediction at patient level. We train our pipeline on over 9,000 patients from 10 colorectal cancer cohorts. Results: A fully transformer-based approach massively improves the performance, generalizability, data efficiency, and interpretability as compared with current state-of-the-art algorithms. After training on a large multicenter cohort, we achieve a sensitivity of 0.97 with a negative predictive value of 0.99 for MSI prediction on surgical resection specimens. We demonstrate for the first time that resection specimen-only training reaches clinical-grade performance on endoscopic biopsy tissue, solving a long-standing diagnostic problem. Interpretation: A fully transformer-based end-to-end pipeline trained on thousands of pathology slides yields clinical-grade performance for biomarker prediction on surgical resections and biopsies. Our new methods are freely available under an open source license.

연구 동기 및 목표

• 대장암 조직학적 슬라이드에서 종양 마커를 종합적으로 예측하기 위한 완전한 트랜스포머 기반 딥러닝 파이프라인을 개발하는 것.
• 기존의 컨volutional 신경망(CNN) 기반 접근법에 비해 성능, 일반화 능력, 데이터 효율성, 해석 가능성 향상을 도모하는 것.
• 수술 절제편으로만 훈련된 모델이 내시경 생검 조직에서 높은 성능의 예측을 가능하게 하는지 평가하는 것.
• 10개의 독립된 연구에서 9,000명 이상의 환자로 구성된 대규모 다기관 코hort에서 모델을 검증하는 것.
• 임상 적용과 광범위한 도입을 지원하기 위해 방법을 오픈소스로 공개하는 것.

제안 방법

• 전이 학습된 비전 트랜스포머 인코더를 사용하여 전체 슬라이드 이미지의 패치를 처리한다.
• 특화된 트랜스포머 네트워크가 국소 패치 표현을 종합하여 환자 수준의 글로벌 임베딩을 생성하고, 다중 타겟 예측을 수행한다.
• 슬라이드 수준의 레이블이 패치 수준의 표현 학습을 이끄는 약한 지도 학습 방식을 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 이 아키텍처는 전체 슬라이드 이미지에서 단일 및 다중 타겟 종양 마커 예측(예: MSI, BRAF, KRAS)을 환자 수준에서 수행할 수 있도록 한다.
• 10개의 독립된 코hort에서 9,000명 이상의 대장암 환자로 구성된 대규모 다기관 데이터셋에서 모델을 평가한다.
• 민감도, 음성 예측값, ROC 곡선 아래 면적(AUC)과 같은 표준 지표를 사용하여 모델 성능을 평가한다.

Figure 1: Workflow with pre-processing, model architecture and cohort overview. a) The data pre-processing pipeline with the steps whole slide image (WSI) digitization, tissue segmentation, tessellation into tiles, and stain normalization, b) the model architecture including the pre-trained feature

실험 결과

연구 질문

• RQ1 완전한 트랜스포머 기반 아키텍처가 대장암 조직학적 슬라이드에서 종양 마커 예측에서 최신의 CNN 기반 모델을 능가할 수 있는가?
• RQ2 수술 절제편으로만 훈련된 모델이 내시경 생검 조직에서 강력한 예측 성능을 달성할 수 있는가?
• RQ3 대규모 다기관 훈련 코호트가 모델의 일반화 능력과 데이터 효율성 향상에 얼마나 기여하는가?
• RQ4 트랜스포머 기반 접근법이 대장암에서 MSI 예측에 임상 수준의 성능을 달성할 수 있는가?
• RQ5 이러한 모델의 해석 가능성은 기존의 병리학 딥러닝 방법에 비해 어떻게 비교되는가?

주요 결과

• 완전한 트랜스포머 기반 파이프라인이 수술 절제편에서 미세위성 불안정성(MSI) 예측에 대해 0.97의 민감도와 0.99의 음성 예측값을 기록하였다.
• 모델는 수술 절제편으로만 훈련되었음에도 불구하고 내시경 생검 조직으로의 일반화가 효과적으로 이루어져 임상 수준의 성능을 달성하였다.
• 기존의 최신 CNN 기반 모델에 비해 뛰어난 성능, 일반화 능력, 데이터 효율성, 해석 가능성 향상을 보였다.
• 다양한 다기관 데이터셋에서 높은 성능를 유지하여 기관 간 변동성에 대한 강력한 내성성을 보였다.
• 10개의 독립된 대장암 코호트에서 9,000명 이상의 환자로 검증되어 임상적 관련성을 높였다.
• 완전히 훈련된 모델는 임상 통합과 향후 연구를 위한 오픈소스 라이선스 하에 공개되었다.

Figure 2: Evaluation of the prediction performance for the biomarkers MSI, BRAF, and KRAS in single-cohort and large-scale multi-centric experiments. Experimental results for MSI-H (a-c), BRAF (d,e), and KRAS (f,g) prediction: a) AUROC scores for single cohort experiments for all CRC cohorts ordered