[논문 리뷰] Multimodal Whole Slide Foundation Model for Pathology

Tong Ding, Sophia J. Wagner외 21명|arXiv (Cornell University)|2024. 11. 29.

Radiomics and Machine Learning in Medical Imaging인용 수 23

한 줄 요약

TITAN은 시각적 자기지도 학습과 병리 보고서 및 423,122개의 합성 캡션과의 시각-언어 정렬을 통해 335,645개의 전체 슬라이드 이미지에서 사전학습된 다중모달 전체 슬라이드 기초 모델로, 미세조정 없이 제로샷, 소샷 및 교차 모달 작업을 가능하게 한다.

ABSTRACT

The field of computational pathology has been transformed with recent advances in foundation models that encode histopathology region-of-interests (ROIs) into versatile and transferable feature representations via self-supervised learning (SSL). However, translating these advancements to address complex clinical challenges at the patient and slide level remains constrained by limited clinical data in disease-specific cohorts, especially for rare clinical conditions. We propose TITAN, a multimodal whole slide foundation model pretrained using 335,645 WSIs via visual self-supervised learning and vision-language alignment with corresponding pathology reports and 423,122 synthetic captions generated from a multimodal generative AI copilot for pathology. Without any finetuning or requiring clinical labels, TITAN can extract general-purpose slide representations and generate pathology reports that generalize to resource-limited clinical scenarios such as rare disease retrieval and cancer prognosis. We evaluate TITAN on diverse clinical tasks and find that TITAN outperforms both ROI and slide foundation models across machine learning settings such as linear probing, few-shot and zero-shot classification, rare cancer retrieval and cross-modal retrieval, and pathology report generation.

연구 동기 및 목표

• ROI 수준이 아닌 슬라이드 수준에서 작동하는 병리학용 일반 목적의 다중모달 기초 모델 개발.
• 시각 SSL 및 병리 보고서에 대한 시각-언어 정렬을 이용한 대규모 WSI 데이터 활용.
• 임상 레이블 없이도 다중모달 이해를 강화하기 위한 합성 캡션 도입.
• 미세조정 없이 희귀질환 검색, 암 예후 및 크로스모달 작업에서 일반화 시연.

제안 방법

• 시각 자기지도 학습을 사용하여 335,645개의 전체 슬라이드 이미지를 기반으로 TITAN 사전학습.
• 시각 표현을 병리 보고서와 대응시키는 시각-언어 목표를 적용.
• 병리학용으로 다중모달 AI 보조기가 생성한 423,122개의 합성 캡션 도입.
• 다양한 임상 작업에서 제로샷, 소샷 및 선형 탐색을 미세조정 없이 평가.

실험 결과

연구 질문

• RQ1 대규모 WSIs와 합성 캡션에서 파생된 다중모달 전체 슬라이드 기초 모델이 미세조정 없이도 자원 제한 임상 환경에 일반화될 수 있는가?
• RQ2 TITAN은 희귀 암 검색, 교차 모달 검색 및 병리 보고서 생성에서 ROI- 및 슬라이드 기반 기초모델과 비교해 어떤 성능을 보이는가?

주요 결과

• TITAN은 선형 탐색, 소샷 및 제로샷 분류에서 ROI- 및 슬라이드-기초모델을 능가한다.
• TITAN은 희귀 암 검색 및 교차 모달 검색 작업에서 뛰어나다.
• TITAN은 병리 보고서를 생성하고 임상 레이블이 필요 없는 자원 제한 임상 시나리오에 일반화할 수 있다.