[논문 리뷰] Molecular-driven Foundation Model for Oncologic Pathology

Anurag Vaidya, Andrew Zhang외 16명|ArXiv.org|2025. 01. 28.

Genetics, Bioinformatics, and Biomedical Research인용 수 8

한 줄 요약

Threads는 슬라이드 수준의 기초 모델로서 조직학 및 분자 프로필을 공동 인코딩하여 보편적인 전체 슬라이드 임베딩을 학습하고, 54개의 암 특징에서 최첨단 성능을 달성하며 적은 샷 학습과 전이 학습을 가능하게 합니다.

ABSTRACT

Foundation models are reshaping computational pathology by enabling transfer learning, where models pre-trained on vast datasets can be adapted for downstream diagnostic, prognostic, and therapeutic response tasks. Despite these advances, foundation models are still limited in their ability to encode the entire gigapixel whole-slide images without additional training and often lack complementary multimodal data. Here, we introduce Threads, a slide-level foundation model capable of generating universal representations of whole-slide images of any size. Threads was pre-trained using a multimodal learning approach on a diverse cohort of 47,171 hematoxylin and eosin (H&E)-stained tissue sections, paired with corresponding genomic and transcriptomic profiles - the largest such paired dataset to be used for foundation model development to date. This unique training paradigm enables Threads to capture the tissue's underlying molecular composition, yielding powerful representations applicable to a wide array of downstream tasks. In extensive benchmarking across 54 oncology tasks, including clinical subtyping, grading, mutation prediction, immunohistochemistry status determination, treatment response prediction, and survival prediction, Threads outperformed all baselines while demonstrating remarkable generalizability and label efficiency. It is particularly well suited for predicting rare events, further emphasizing its clinical utility. We intend to make the model publicly available for the broader community.

연구 동기 및 목표

• 암 유형과 과제에 걸쳐 일반화되는 보편적 슬라이드 임베딩을 생성하여 데이터 부족과 기가픽셀 WSI 사이즈 문제를 해결한다.
• 생물학적으로 관련된 조직 정보를 포착하기 위해 WSIs를 동반 분자 데이터(전사체 및 게놈)와 정렬하여 다중 모달 사전 학습을 활용한다.
• 일반화성, 전이성 및 레이블 효율성을 입증하기 위해 54개 과제, 23개 코호트의 광범위 벤치마크에서 Threads를 평가한다.
• 임상 활용 가능성을 뒷받침하기 위해 데이터 효율성, 외부 코호트로의 전이성, 소수 샷 성능에 대한 분석을 제공한다.

제안 방법

• 두 부분 아키텍처: 패치를 위한 ROI 인코더(CONCHv1.5 ViT-L)와 타일 임베딩을 모아 슬라이드 표현으로 집계하는 주의(attention) 기반 슬라이드 인코더.
• 교차 모달 대조 학습을 통한 다중 모달 사전 학습으로 WSI 임베딩과 해당 분자 프로파일(전사체 및 표적 게놈)을 정렬한다.
• MGH, BWH, TCGA, GTEx에서 수집된 대규모 히스토모럴 데이터세트 (>47k 샘플) MBTG-47k에서 학습한다.
• 선형 프로빙 및 다양한 지표를 사용하여 네 가지 계열(임상 하위타입화/등급 매김, 변이 예측, IHC 상태, 치료/예후)의 54개 과제에 대한 다운스트림 평가.
• 선택적 미세 조정: 사전 학습에서 초기화된 Threads는 다운스트림 과제에 대해 미세 조정 시 뚜렷한 이득을 얻을 수 있다.
• 분자 프롬팅 도입으로 분자 프로토타입을 사용한 제로샷 유사 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 모달 분자 가이던스로 학습된 슬라이드 수준 인코더가 다양한 종양학 과제에 적용 가능한 보편적 WSI 임베딩을 생성할 수 있는가?
• RQ2 정확도와 강건성 측면에서 Threads가 기존 전체 슬라이드 인코더(Prism, GigaPath, Chief)와 넓은 벤치마크에서 어떻게 비교되는가?
• RQ3 Threads 임베딩의 외부 코호트로의 전이성 및 데이터가 부족한 희귀 이벤트 시나리오에서의 성능은 어떠한가?
• RQ4 임상 관련 과제를 위해 데이터 및 레이블 효율적 성능(소수 샷 학습 및 효과적인 미세 조정을 포함) 을 제공하는가?

주요 결과

• Threads는 54개 과제에서 최첨단 성능을 달성하고, 선형 프로빙에서 Prism, GigaPath, Chief보다 각각 절대 이득 6.3%, 9.9%, 6.7%를 보였으며(P<0.001).
• Threads는 작업 수준의 강한 이득을 보이며, 예를 들어 임상 하위타맷화/등급에서 2.1% 증가, 변이 예측에서 6.1%, IHC 상태에서 4.6%, 예후 예측에서 8.9%를 달성(최고 베이스라인 대비).
• Threads는 외부 코호트로의 강건한 전이 가능성을 보여주며, 9개 전이 과제 중 8개에서 베이스라인을 앞지르고 유방/폐 하위타이핑에서 높은 AUC를 유지한다(예: 98.4% 및 96.5% AUC).
• 데이터가 부족한 환경에서 Threads는 소수 샷 성능과 치료 반응/생존 예측에서 특히 중소 규모 코호트에 대해 우수한 성능을 보이며 베이스라인 대비 절대 이득이 최대 약 5–9%에 이른다.
• Threads를 미세 조정하는 것은 맨 처음부터 학습하는 것보다 상당한 이득을 준다(54개 과제 평균 2.2%; 변이 예측에서 최대 5.5%).
• Threads는 분자 프롬팅을 가능하게 하여 분자 프로토타입을 사용한 여덟 개 과제에서 경쟁력 있는 제로샷 유사 성능을 달성한다.