[论文解读] Atlas: A Novel Pathology Foundation Model by Mayo Clinic, Charité, and Aignostics

Maximilian Alber, Stephan Tietz+25 more|arXiv (Cornell University)|Jan 9, 2025

Tuberculosis Research and Epidemiology被引用 3

一句话总结

Atlas 是一个基于 Mayo Clinic 与 Charité 的120万张数字病理切片自监督学习训练的病理基础模型，在21项公开病理基准上实现了总体最优性能，但并非参数量或数据量最大的模型。

ABSTRACT

Recent advances in digital pathology have demonstrated the effectiveness of foundation models across diverse applications. In this report, we present Atlas, a novel vision foundation model based on the RudolfV approach. Our model was trained on a dataset comprising 1.2 million histopathology whole slide images, collected from two medical institutions: Mayo Clinic and Charité - Universtätsmedizin Berlin. Comprehensive evaluations show that Atlas achieves state-of-the-art performance across twenty-one public benchmark datasets, even though it is neither the largest model by parameter count nor by training dataset size.

研究动机与目标

• 通过大规模自监督学习，推动病理组学中鲁棒、可推广的表征学习。
• 利用多染色、多放大倍数的 WSIs，覆盖不同组织类型与扫描仪变异。
• 在广泛的下游病理任务中评估 Atlas 以考察其泛化能力。
• 将 Atlas 与其他领先的病理基础模型进行对比，定位其优势与局限性。

提出的方法

• 使用改进的 RudolfV 自监督方法，基于 DINOv2 框架训练一个 ViT-H/14 病理基础模型（632M 参数）。
• 使用来自 Mayo Clinic 与 Charité 的120万张去标识化 WSIs 数据集，切片在多分辨率（0.25、0.5、1.0、2.0 μm/像素）下生成。
• 为训练抽样约5.2亿张切片；在 Mayo Clinic Platform 内使用 Nvidia H100 GPU 进行训练。
• 通过线性探针和 ABMIL 风格的切片级方法在21项公开基准上评估嵌入，使用 CLS 与 CLS+Mean token 表示。
• 以Patch-level任务的平衡准确度和基于 ABMIL 的切片级任务评估性能；报告不同随机种子下的均值与标准误。

实验结果

研究问题

• RQ1 Atlas 与现有基础模型相比，在形态学与分子相关的病理任务上表现如何？
• RQ2 多染色、多放大培训是否在不同数据集和扫描仪上带来鲁棒性与泛化优势？
• RQ3 所选 token 表示（CLS vs CLS+Mean）对下游性能有何影响？
• RQ4 在不以参数或数据量为最大前提下，Atlas 是否能实现最先进的结果？

主要发现

• Atlas 在21项基准上的平均表现为61.9%，平均领先 Virchow2 与 H-Optimus-0 1.1个百分点。
• Atlas 在21项基准中有11项在分子-形态相关任务上表现最佳，在其他任务上多处处于第二名。
• 在分子相关任务中，Atlas 在若干 HEST 任务上排名第一，整体化合物表现亦名列前茂，且在多项基准中实现前二名。
• 在形态相关基准中，Atlas 在 MSI CRC、MSI STAD、TCGA Uniform、BACH、CRC-100k、MHIST、PCAM、CAMELYON16、PANDA 等多个数据集上实现顶尖表现。
• 尽管 Atlas 不是参数量或数据量最大的模型，其表现仍接近或超越最先进模型，显示其对多样化训练数据的强泛化能力。