[论文解读] Atlas: A Novel Pathology Foundation Model by Mayo Clinic, Charité, and Aignostics
Atlas 是一个基于 Mayo Clinic 与 Charité 的120万张数字病理切片自监督学习训练的病理基础模型，在21项公开病理基准上实现了总体最优性能，但并非参数量或数据量最大的模型。
Recent advances in digital pathology have demonstrated the effectiveness of foundation models across diverse applications. In this report, we present Atlas, a novel vision foundation model based on the RudolfV approach. Our model was trained on a dataset comprising 1.2 million histopathology whole slide images, collected from two medical institutions: Mayo Clinic and Charité - Universtätsmedizin Berlin. Comprehensive evaluations show that Atlas achieves state-of-the-art performance across twenty-one public benchmark datasets, even though it is neither the largest model by parameter count nor by training dataset size.
研究动机与目标
- 通过大规模自监督学习，推动病理组学中鲁棒、可推广的表征学习。
- 利用多染色、多放大倍数的 WSIs，覆盖不同组织类型与扫描仪变异。
- 在广泛的下游病理任务中评估 Atlas 以考察其泛化能力。
- 将 Atlas 与其他领先的病理基础模型进行对比，定位其优势与局限性。
提出的方法
- 使用改进的 RudolfV 自监督方法，基于 DINOv2 框架训练一个 ViT-H/14 病理基础模型（632M 参数）。
- 使用来自 Mayo Clinic 与 Charité 的120万张去标识化 WSIs 数据集，切片在多分辨率（0.25、0.5、1.0、2.0 μm/像素）下生成。
- 为训练抽样约5.2亿张切片；在 Mayo Clinic Platform 内使用 Nvidia H100 GPU 进行训练。
- 通过线性探针和 ABMIL 风格的切片级方法在21项公开基准上评估嵌入，使用 CLS 与 CLS+Mean token 表示。
- 以Patch-level任务的平衡准确度和基于 ABMIL 的切片级任务评估性能；报告不同随机种子下的均值与标准误。
实验结果
研究问题
- RQ1Atlas 与现有基础模型相比，在形态学与分子相关的病理任务上表现如何？
- RQ2多染色、多放大培训是否在不同数据集和扫描仪上带来鲁棒性与泛化优势？
- RQ3所选 token 表示（CLS vs CLS+Mean）对下游性能有何影响？
- RQ4在不以参数或数据量为最大前提下，Atlas 是否能实现最先进的结果？
主要发现
| Group | Benchmark | Phikon v2 | UNI | Gigapath | RudolfV | Virchow2 | H-optimus-0 | Atlas |
|---|---|---|---|---|---|---|---|---|
| Molecular-related | HEST-COAD | 25.6 | 26.2 | 30.7 | 31.0 | 25.9 | 30.9 | 29.4 |
| HEST-HCC | 7.8 | 8.3 | 7.1 | 9.4 | 9.6 | 8.4 | 10.7 | |
| HEST-IDC | 56.6 | 58.5 | 56.8 | 57.4 | 59.3 | 61.0 | 60.4 | |
| HEST-LUAD | 54.8 | 55.2 | 55.8 | 57.7 | 56.9 | 57.3 | 58.0 | |
| HEST-LYMPH_IDC | 24.8 | 25.8 | 25.1 | 25.6 | 25.9 | 26.8 | 26.4 | |
| HEST-PAAD | 47.9 | 48.8 | 49.5 | 51.1 | 47.3 | 50.9 | 51.8 | |
| HEST-PRAD | 37.7 | 32.2 | 38.4 | 37.7 | 35.1 | 38.5 | 38.4 | |
| HEST-READ | 18.5 | 18.4 | 19.6 | 19.9 | 21.1 | 24.1 | 22.8 | |
| HEST-SKCM | 58.4 | 63.5 | 58.8 | 61.8 | 63.7 | 66.1 | 62.5 | |
| HEST-ccRCC | 27.3 | 25.3 | 24.9 | 25.3 | 27.4 | 29.0 | 29.4 | |
| MSI CRC (patch) | 68.8 | 69.5 | 70.4 | 69.9 | 74.0 | 71.2 | 73.6 | |
| MSI STAD (patch) | 71.2 | 70.5 | 71.0 | 74.1 | 74.8 | 73.6 | 76.0 | |
| Pan-cancer TIL | 92.9 | 92.6 | 92.3 | 92.6 | 93.1 | 93.0 | 93.0 | |
| TCGA Uniform (10x) | 64.0 | 68.6 | 69.1 | 70.6 | 73.0 | 70.4 | 71.8 | |
| TCGA Uniform (20x) | 69.8 | 67.8 | 68.0 | 78.1 | 71.5 | 72.4 | 67.8 | |
| BACH | 73.8 | 80.1 | 80.2 | 76.9 | 88.7 | 75.8 | 93.1 | |
| CRC-100k | 95.5 | 95.4 | 95.9 | 96.0 | 96.7 | 96.2 | 97.1 | |
| MHIST | 78.4 | 84.4 | 83.1 | 80.5 | 85.9 | 85.0 | 86.4 | |
| PCAM | 90.0 | 93.6 | 94.5 | 94.6 | 93.9 | 94.3 | 94.9 | |
| CAMELYON16 | 79.8 | 85.0 | 82.1 | 77.1 | 86.5 | 84.0 | 86.8 | |
| PANDA | 65.3 | 69.6 | 69.6 | 69.6 | 66.4 | 68.0 | 70.5 | |
| Morphology-average | ||||||||
| - | - | - | - | - | - | - |
- Atlas 在21项基准上的平均表现为61.9%，平均领先 Virchow2 与 H-Optimus-0 1.1个百分点。
- Atlas 在21项基准中有11项在分子-形态相关任务上表现最佳，在其他任务上多处处于第二名。
- 在分子相关任务中，Atlas 在若干 HEST 任务上排名第一，整体化合物表现亦名列前茂，且在多项基准中实现前二名。
- 在形态相关基准中，Atlas 在 MSI CRC、MSI STAD、TCGA Uniform、BACH、CRC-100k、MHIST、PCAM、CAMELYON16、PANDA 等多个数据集上实现顶尖表现。
- 尽管 Atlas 不是参数量或数据量最大的模型，其表现仍接近或超越最先进模型，显示其对多样化训练数据的强泛化能力。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。