[论文解读] A Clinical Benchmark of Public Self-Supervised Pathology Foundation Models

Gabriele Campanella, Shengjia Chen+11 more|arXiv (Cornell University)|Jul 9, 2024

Ethics in Clinical Research被引用 6

一句话总结

本论文在多机构临床数据集上，对公开的病理学基础模型进行自监督学习训练，在疾病检测与生物标志物预测任务中进行基准比较，比较性能和资源使用。它分析扩展性行为和数据集效应，并为模型选择和未来基准测试提供指导。

ABSTRACT

The use of self-supervised learning (SSL) to train pathology foundation models has increased substantially in the past few years. Notably, several models trained on large quantities of clinical data have been made publicly available in recent months. This will significantly enhance scientific research in computational pathology and help bridge the gap between research and clinical deployment. With the increase in availability of public foundation models of different sizes, trained using different algorithms on different datasets, it becomes important to establish a benchmark to compare the performance of such models on a variety of clinically relevant tasks spanning multiple organs and diseases. In this work, we present a collection of pathology datasets comprising clinical slides associated with clinically relevant endpoints including cancer diagnoses and a variety of biomarkers generated during standard hospital operation from two medical centers. We leverage these datasets to systematically assess the performance of public pathology foundation models and provide insights into best practices for training new foundation models and selecting appropriate pretrained models.

研究动机与目标

• 评估在跨越多器官和疾病的临床相关任务上，公开的病理学基础模型的性能。
• 比较使用不同 SSL 算法和数据集训练的模型，以识别训练和模型选择的最佳实践。
• 评估模型规模和训练资源如何与下游临床任务性能相关。
• 提供实时基准测试和未来计算病理学模型开发的指导。

提出的方法

• 将幻灯片级组织切片（20x）嵌入到特定基础模型的特征表示中。
• 使用 Gated MIL Attention (GMA) 聚合切片特征，并用线性分类器进行 slide-level 预测。
• 使用 Monte Carlo Cross-Validation 进行泛化估计，20 折（每折 80% 训练、20% 验证）。
• 使用 AdamW 优化器、cosine decay with warm-up，在 1 GPU 上对每个任务/模型进行 50 个 epoch 的训练。

Figure 1: Benchmarking Results: Detection Tasks.

实验结果

研究问题

• RQ1 公开病理基础模型在跨器官和癌种的疾病检测与生物标志物预测方面的表现如何？
• RQ2 预训练数据规模和架构对病理学下游临床任务性能有何影响？
• RQ3 更大模型是否在生物标志物预测任务上始终提升性能，预训练数据组成如何影响这一点？
• RQ4 计算资源和训练成本如何与病理 SSL 模型的下游性能相关？
• RQ5 一个标准化的在线基准测试能否有效指导临床部署中的模型选择？

主要发现

• 在检测任务上，DINO 和 DINOv2 训练的模型表现相当，而 ImageNet 或 CTransPath 预训练的编码器在平均水平上表现不佳。
• 对于检测任务，模型规模几乎没有带来明显的扩展收益；较小的模型如 SP21M/SP22M 在这些任务上的表现与较大模型相近。
• 生物标志物预测任务变异性更大，UNI 和 Prov-GigaPath 经常优于其他模型，尤其是在组织表示与预训练数据匹配时（例如肺）。
• Ici 结果（ICI 反应预测）在所有模型中仍然具有挑战性，NSCLC 队列的 AUC 接近随机水平。
• 预训练数据集组成可以显著影响生物标志物性能，表明预训练数据中组织的出现频率会影响任务结果。
• 较大模型有助于某些生物标志物任务，但收益取决于任务，并可能受数据组成的混淆影响。
• 在所有测试模型中，增加计算资源并未普遍提升检测或生物标记物预测的下游任务性能。

Figure 2: Benchmarking Results: Biomarker Prediction Tasks.