[論文レビュー] Atlas: A Novel Pathology Foundation Model by Mayo Clinic, Charité, and Aignostics

Maximilian Alber, Stephan Tietz+25 more|arXiv (Cornell University)|Jan 9, 2025

Tuberculosis Research and Epidemiology被引用数 3

ひとこと要約

Atlasは Mayo Clinic と Charité からの 120万件のWSIで訓練され、最大規模のモデルやデータセットでなくても、21の公開病理ベンチマークで平均性能が最先端に達する。

ABSTRACT

Recent advances in digital pathology have demonstrated the effectiveness of foundation models across diverse applications. In this report, we present Atlas, a novel vision foundation model based on the RudolfV approach. Our model was trained on a dataset comprising 1.2 million histopathology whole slide images, collected from two medical institutions: Mayo Clinic and Charité - Universtätsmedizin Berlin. Comprehensive evaluations show that Atlas achieves state-of-the-art performance across twenty-one public benchmark datasets, even though it is neither the largest model by parameter count nor by training dataset size.

研究の動機と目的

• 組織病理学のための頑健で一般化可能な表現を大規模自己教師付き学習で獲得する。
• 多染色・多倍率のWSIを活用して多様な組織タイプとスキャナー変動をカバーする。
• Atlasを広範な下流病理タスクで評価し、一般化能力を検証する。
• Atlasを他の先行する病理ファウンデーションモデルと比較して強みと限界を位置づける。

提案手法

• DINOv2フレームワークに基づく適応型 RudolfV 自己教師付き法を用いて ViT-H/14 病理ファウンデーションモデル（632M パラメータ）を訓練。
• Mayo Clinic と Charité からの同定済みデータを 120万 WSIs のデータセットとして使用し、タイルを複数解像度（0.25, 0.5, 1.0, 2.0 µm/pixel）で生成。
• 訓練データを約5.2億枚のタイルにサンプリングし、Mayo Clinic Platform 内の Nvidia H100 GPUで訓練を実施。
• 21の公開ベンチマークに対して CLS と CLS+Mean トークン表現の両方を用いた線形プロービングおよび ABMIL 風のスライドレベル手法で埋め込みを評価。
• パッチレベルタスクと ABMIL ベースのスライドレベルタスクの性能をバランスド精度で評価し、シード間の平均と標準誤差を報告。

実験結果

リサーチクエスチョン

• RQ1 Atlasは既存のファウンデーションモデルと比較して、形態学および分子関連タスクの広範な範囲でどの程度の性能を示すか。
• RQ2 多染色・多倍率の訓練が、多様なデータセットやスキャナーに対して頑健性と一般化能力をもたらすか。
• RQ3 選択したトークン表現（CLS vs CLS+Mean）が下流性能に与える影響は何か。
• RQ4 Atlasはパラメータ数やデータ量で最大ではなくても、最先端の結果を達成しうるか。

主な発見

• Atlasは21ベンチマークで平均61.9%の性能を達成し、Virchow2および H-Optimus-0を平均で1.1ポイント上回った。
• Atlasは分子関連・形態学関連タスクの21ベンチマークのうち11において最高性能を示し、多くの他タスクでも第2位に位置。
• 分子関連タスクでは、Atlasは複数のHESTタスクで1位、全体の成績もトップ2に多くのベンチマークで入る。
• 形態学関連ベンチマークでは、MSI CRC、MSI STAD、TCGA Uniform、BACH、CRC-100k、MHIST、PCAM、CAMELYON16、PANDAなど複数のデータセットで最高性能を発揮。
• Atlasの性能はパラメータ数やデータ量の点で最大級ではないにもかかわらず、最新モデルと肩を並べるかそれを超える水準であり、多様な訓練データからの強力な一般化を示唆している。