[论文解读] A Survey on Computational Pathology Foundation Models: Datasets, Adaptation Strategies, and Evaluation Tasks

Dong Li, Guihong Wan+7 more|ArXiv.org|Jan 27, 2025

AI in cancer detection被引用 3

一句话总结

本综述评估计算病理基础模型（CPathFMs），详述数据集、适配策略（单模态和多模态）及评估任务，并探讨挑战与未来方向。

ABSTRACT

Computational pathology foundation models (CPathFMs) have emerged as a powerful approach for analyzing histopathological data, leveraging self-supervised learning to extract robust feature representations from unlabeled whole-slide images. These models, categorized into uni-modal and multi-modal frameworks, have demonstrated promise in automating complex pathology tasks such as segmentation, classification, and biomarker discovery. However, the development of CPathFMs presents significant challenges, such as limited data accessibility, high variability across datasets, the necessity for domain-specific adaptation, and the lack of standardized evaluation benchmarks. This survey provides a comprehensive review of CPathFMs in computational pathology, focusing on datasets, adaptation strategies, and evaluation tasks. We analyze key techniques, such as contrastive learning and multi-modal integration, and highlight existing gaps in current research. Finally, we explore future directions from four perspectives for advancing CPathFMs. This survey serves as a valuable resource for researchers, clinicians, and AI practitioners, guiding the advancement of CPathFMs toward robust and clinically applicable AI-driven pathology solutions.

研究动机与目标

• 分析用于预训练 CPathFMs 的现有病理数据集并识别跨数据源的一般化挑战。
• 系统性评估单模态和多模态 CPathFMs 的适配技术，突出其优点与局限性。
• 总结预训练 CPathFMs 的评估任务现状，并将其分为六个视角的分类学。
• 识别差距并提出未来方向，以推动鲁棒且临床可用的 CPathFMs。

提出的方法

• 对最近的 CPathFM 文献进行调查与综合，聚焦数据集、适配策略与评估任务。
• 对预训练数据类型（WSIs、tiles、captions、reports）及模态（单模态 vs 多模态）进行分类学归纳。
• 描述在病理学中适用的自监督学习框架（DINO、DINOv2、MAE、CLIP、CoCa）及其领域特定用途。
• 汇编一个六视角的 CPathFMs 评估分类，并讨论微调与非微调评估策略。

实验结果

研究问题

• RQ1 当前用于 CPathFMs 的数据集与数据整理实践是什么，它们揭示了哪些一般化挑战？
• RQ2 为 CPathFMs 使用了哪些适配策略（单模态 vs 多模态），它们各自的优点与局限性是什么？
• RQ3 CPathFMs 经过训练后如何评估，评估体系的六个视角包括哪些？
• RQ4 标准基准与评估协议在 CPathFMs 中存在哪些差距，提出了哪些未来方向？

主要发现

• CPathFMs 的预训练数据集越来越大且多样化，通常汇聚来自多个来源的公开和私有 WSIs 及砖块-文本数据。
• 单模态 CPathFMs 主要在病理砖块或 WSIs 上采用自监督学习（DINO/DINOv2、MAE），并结合域特定的改进如在线补丁处理与 KDE 基化增强。
• 多模态 CPathFMs 使用 CLIP/CoCa 框架对图像-文本数据进行对齐，以实现跨模态检索与生成，一些模型还整合了用于病理任务的大模型（LLMs）。
• 评估任务呈现异质性且缺乏标准化，涵盖分类、检索、生成、分割、生存预测与视觉问答，既有微调也有非微调设置。
• 在标准化基准、跨机构泛化，以及 WSI 级多模态大模型与面向 MxIF 的模型方面存在显著差距。
• 该综述提出六个评估 CPathFMs 的视角，并强调需要可依赖、可解释且具临床可转化性的模型。