[论文解读] Molecular-driven Foundation Model for Oncologic Pathology

Anurag Vaidya, Andrew Zhang+16 more|ArXiv.org|Jan 28, 2025

Genetics, Bioinformatics, and Biomedical Research被引用 8

一句话总结

Threads 是一个 slide-level 基础模型，通过同时编码组织学和分子谱来学习通用的全切片嵌入，在 54 项肿瘤学任务上达到最先进的性能，并实现有效的 few-shot 和迁移学习。

ABSTRACT

Foundation models are reshaping computational pathology by enabling transfer learning, where models pre-trained on vast datasets can be adapted for downstream diagnostic, prognostic, and therapeutic response tasks. Despite these advances, foundation models are still limited in their ability to encode the entire gigapixel whole-slide images without additional training and often lack complementary multimodal data. Here, we introduce Threads, a slide-level foundation model capable of generating universal representations of whole-slide images of any size. Threads was pre-trained using a multimodal learning approach on a diverse cohort of 47,171 hematoxylin and eosin (H&E)-stained tissue sections, paired with corresponding genomic and transcriptomic profiles - the largest such paired dataset to be used for foundation model development to date. This unique training paradigm enables Threads to capture the tissue's underlying molecular composition, yielding powerful representations applicable to a wide array of downstream tasks. In extensive benchmarking across 54 oncology tasks, including clinical subtyping, grading, mutation prediction, immunohistochemistry status determination, treatment response prediction, and survival prediction, Threads outperformed all baselines while demonstrating remarkable generalizability and label efficiency. It is particularly well suited for predicting rare events, further emphasizing its clinical utility. We intend to make the model publicly available for the broader community.

研究动机与目标

• 通过创建跨癌种和任务泛化的通用切片嵌入来解决数据稀缺和 gigapixel WSI 的大小问题。
• 通过将 WSI 与伴随的分子（转录组和基因组）数据对齐来实现多模态预训练，以捕获具有生物学相关性的组织信息。
• 在广泛基准（54 个任务，23 个队列）上评估 Threads，以展示可泛化性、可迁移性和标签效率。
• 提供数据效率、对外部队列的迁移以及少样本性能的分析，以支持临床应用。

提出的方法

• 两部分架构：一个 ROI 编码器（CONCHv1.5 ViT-L）用于补丁，和一个通过注意力聚合瓦片嵌入为切片表示的切片编码器。
• 通过跨模态对比学习的多模态预训练，使 WSI 嵌入与相应的分子谱（转录组学和靶向基因组学）对齐。
• 在 MBTG-47k 上的训练，这是来自 MGH、BWH、TCGA 和 GTEx 的一个大规模组织分子数据集（>47k 样本）。
• 下游在四大类家族的 54 项任务上进行评估（临床亚型/分级、突变预测、IHC 状态、治疗/预后），使用线性探针和各种指标。
• 可选微调：从预训练初始化的 Threads 可以进行下游任务的微调，获得显著增益。
• 引入分子提示，以实现使用分子原型的零-shot 类似分类。

实验结果

研究问题

• RQ1 是否可以通过多模态分子引导学习得到的切片级编码器，产生可应用于各种肿瘤学任务的通用 WSI 嵌入？
• RQ2 与现有全切片编码器（Prism、GigaPath、Chief）在广泛基准上的准确性和鲁棒性相比，Threads 的表现如何？
• RQ3 Threads 嵌入对外部队列的可迁移性及在数据稀缺、罕见事件场景下的表现？
• RQ4 Threads 是否提供数据和标签高效的性能，包括少样本学习和有效微调，适用于临床相关任务？

主要发现

• Threads 在 54 项任务上达到最先进的性能，在线性探针中分别比 Prism、GigaPath 和 Chief 高出绝对增益 6.3%、9.9% 和 6.7%（P<0.001）。
• Threads 在任务层面带来强劲增益，例如在临床亚型/分级上提升 2.1%，在突变预测上提升 6.1%，在 IHC 状态上提升 4.6%，在预后方面提升 8.9%（相对最佳基线）。
• Threads 在对外部队列的迁移性方面表现鲁棒，在 8/9 个迁移任务中超过基线，并在乳腺和肺分型中保持高 AUC（如 98.4% 和 96.5% AUC）。
• 在数据稀缺设置中，Threads 展示出优越的少样本性能以及对治疗反应/生存预测，尤其对于小至中等队列（相对于基线的绝对增益可达约 5–9%）。
• 微调 Threads 相较于从零开始训练有显著增益（54 项任务的平均 2.2%；在突变预测中最高 5.5%）。
• Threads 启用分子提示，使用分子原型实现零-shot 风格的竞争性表现，涵盖八项任务。