[논문 리뷰] A Multimodal Knowledge-enhanced Whole-slide Pathology Foundation Model

Yingxue Xu, Yihui Wang외 17명|arXiv (Cornell University)|2024. 07. 22.

Biomedical Text Mining and Ontologies인용 수 9

한 줄 요약

논문은 mSTAR를 소개한다, 두 단계의 전체 슬라이드 프리트레이닝 패러다임으로, WSIs, 병리 보고서, RNA-Seq에서 다중모달 지식을 병리학 기초 모델에 주입하여 슬라이드 수준 및 다중모달 다운스트림 작업에서 우수한 성능을 달성한다.

ABSTRACT

Remarkable strides in computational pathology have been made in the task-agnostic foundation model that advances the performance of a wide array of downstream clinical tasks. Despite the promising performance, there are still several challenges. First, prior works have resorted to either vision-only or image-caption data, disregarding pathology reports with more clinically authentic information from pathologists and gene expression profiles which respectively offer distinct knowledge for versatile clinical applications. Second, the current progress in pathology FMs predominantly concentrates on the patch level, where the restricted context of patch-level pretraining fails to capture whole-slide patterns. Even recent slide-level FMs still struggle to provide whole-slide context for patch representation. In this study, for the first time, we develop a pathology foundation model incorporating three levels of modalities: pathology slides, pathology reports, and gene expression data, which resulted in 26,169 slide-level modality pairs from 10,275 patients across 32 cancer types, amounting to over 116 million pathological patch images. To leverage these data for CPath, we propose a novel whole-slide pretraining paradigm that injects the multimodal whole-slide context into the patch representation, called Multimodal Self-TAught PRetraining (mSTAR). The proposed paradigm revolutionizes the pretraining workflow for CPath, enabling the pathology FM to acquire the whole-slide context. To the best of our knowledge, this is the first attempt to incorporate three modalities at the whole-slide context for enhancing pathology FMs. To systematically evaluate the capabilities of mSTAR, we built the largest spectrum of oncological benchmark, spanning 7 categories of oncological applications in 15 types of 97 practical oncological tasks.

연구 동기 및 목표

• 비전 전용 또는 캡션 기반 데이터가 아닌 WSIs, 병리 보고서, RNA-Seq 등 다중모달 데이터를 병리 기초 모델에 활용하도록 동기를 부여한다.
• 전체 슬라이드 맥 context에서 지식을 주입하여 패치 수준 프리트레이닝의 한계를 극복한다.
• 슬라이드 수준 대조 학습 및 자체 학습 훈련을 가능하게 하기 위해 대규모 다중모달 TCGA 기반 데이터셋을 선별한다.
• 슬라이드 수준 지식을 패치 추출기에 전이하기 위한 두 단계 프리트레이닝 패러다임(슬라이드 수준 대조 학습; 패치 수준 자체 학습 훈련)을 개발한다.
• 널리 다양한 슬라이드 수준 진단, 분자, 예후 및 다중모달 융합 과제 전반에서 개선을 입증한다.

제안 방법

• Stage 1: WSIs, 병리 보고서, RNA-Seq 데이터를 사용하여 슬라이드 애그리게이터에 다중모달 지식을 주입하기 위한 슬라이드 수준 대조 학습.
• Stage 2: 사전 학습된 슬라이드 애그리게이터가 패치 추출기를 보조해 슬라이드 수준 임베딩을 재현하도록 지시하는 자기 주도 학습.
• 사전 학습된 추출기(UNI)에서 얻은 패치 피처를 슬라이드 애그리게이터로 공급하여 슬라이드 수준 표현 및 모달 간 정렬을 수행한다.
• 암 타입 간 이질성을 완화하기 위해 암 간 대조 학습을 도입한다.
• 단일 모달 및 다중 모달 작업을 포함한 43개 서브태스크에 걸쳐 7가지 응용 유형으로 평가한다.
• 여러 패치 추출기(예: mSTAR, UNI, CONCH 등)와 함께 사전 학습된 애그리게이터(TransMIL+)의 이점을 평가한다.

실험 결과

연구 질문

• RQ1 전체 슬라이드 다중모달 지식이 패치 수준의 단일 모달 사전 학습을 넘어 병리 기초 모델을 개선할 수 있는가?
• RQ2 WSIs, 병리 보고서, RNA-Seq를 활용한 슬라이드 수준 대조 학습이 진단, 분자, 예후 과제에서 더 나은 다운스트림 성능을 가능하게 하는가?
• RQ3 자기 주도 학습이 슬라이드 수준 다중모달 지식을 패치 추출기로 효과적으로 전이하는가?
• RQ4 사전 학습된 슬라이드 애그리게이터를 포함하는 것이 다중모달 융합 및 소샷/제로샷 슬라이드 분류에 어떤 영향을 미치는가?
• RQ5 다중모달 프리트레이닝이 생존 예후에 미치는 영향은 단일 모달 기준선과 비교하여 어떠한가?

주요 결과

• mSTAR은 패치 수준 SOTA 모델에 비해 12개의 슬라이드 분류 서브태스크(진단 및 분자)에서 일관된 성능 향상을 달성한다.
• mSTAR+ (with a pretrained aggregator) 는 CAMELYON 등 여러 진단 과제에서 유의한 차이(P<0.001)와 함께 개선을 보인다.
• 분자 예측에서 mSTAR은 BRCA-Molecular 및 CRC-Molecular를 포함해 주목할 만한 이득을 보이며, 애그리게이터를 사용할 때 특정 과제에서 최대 +4.60%의 개선이 있다.
• 9개 TCGA 데이터셋에서 생존 분석의 경우, mSTAR (TransMIL)은 UNI 대비 평균 C-Index 증가 +1.98%로 기준선을 상회하며, mSTAR+가 여러 암에서 추가 이득을 제공한다.
• 패치 피처로서의 mSTAR를 이용한 다중모달 융합은 데이터셋 전반에 걸쳐 SOTA 융합 모델(MCAT, Porpoise, MOTCat, CMTA)을 큰 차이로 능가한다.
• MI-FewShot과 함께하는 소샷 슬라이드 분류에서 mSTAR가 6개 서브태스크에서 최상의 전체 순위를 달성하고 여러 작업에서 주목할 만한 이득을 보인다.