[論文レビュー] Towards A Generalizable Pathology Foundation Model via Unified Knowledge Distillation

Jiabo Ma, Zhengrui Guo+21 more|arXiv (Cornell University)|Jul 26, 2024

AI in cancer detection被引用数 5

ひとこと要約

GPFMは、複数の専門モデルからの統一知識蒸留で事前学習された一般化可能な病理ファウンデーションモデルであり、39の臨床タスク全体でトップの総合性能（平均順位 1.36）を達成する。

ABSTRACT

Foundation models pretrained on large-scale datasets are revolutionizing the field of computational pathology (CPath). The generalization ability of foundation models is crucial for the success in various downstream clinical tasks. However, current foundation models have only been evaluated on a limited type and number of tasks, leaving their generalization ability and overall performance unclear. To address this gap, we established a most comprehensive benchmark to evaluate the performance of off-the-shelf foundation models across six distinct clinical task types, encompassing a total of 72 specific tasks, including slide-level classification, survival prediction, ROI-tissue classification, ROI retrieval, visual question answering, and report generation. Our findings reveal that existing foundation models excel at certain task types but struggle to effectively handle the full breadth of clinical tasks. To improve the generalization of pathology foundation models, we propose a unified knowledge distillation framework consisting of both expert and self-knowledge distillation, where the former allows the model to learn from the knowledge of multiple expert models, while the latter leverages self-distillation to enable image representation learning via local-global alignment. Based on this framework, we curated a dataset of 96,000 whole slide images (WSIs) and developed a Generalizable Pathology Foundation Model (GPFM). This advanced model was trained on a substantial dataset comprising 190 million images extracted from approximately 72,000 publicly available slides, encompassing 34 major tissue types. Evaluated on the established benchmark, GPFM achieves an impressive average rank of 1.6, with 42 tasks ranked 1st, while the second-best model, UNI, attains an average rank of 3.7, with only 6 tasks ranked 1st.

研究の動機と目的

• 多様な病理タスク全般に一般化するファウンデーションモデルの必要性を動機づける。
• 6つの臨床タイプにまたがる39タスクで、オフ・ザ・シェルフの病理ファウンデーションモデルを評価する包括的なベンチマークを作成する。
• 専門家知識蒸留と自己蒸留を結合した統一知識蒸留フレームワークを提案し、より良い一般化を目指す。
• 大規模で多様なWSIsデータセット上でGeneralizable Pathology Foundation Model (GPFM)を事前学習させ、一般化を検証する。

提案手法

• Expert Knowledge DistillationとSelf-Distillationを組み合わせた統一知識蒸留フレームワークを導入する。
• Mask Image Modeling (MIM)とEMAベースのパラメータ更新でGPFMを事前学習する。
• 34組織タイプにわたる86,104枚のWSIから190百万枚の画像という大規模・多源データセットを組み立てる。
• WSI分類、生存分析、ROI組織分類、画像検索、VQA、レポート生成を網羅する包括的なベンチマークで評価する。
• 既存のファウンデーションモデル（例：UNI、Phikon、CONCH、Ctranspath）と、順位に基づく統計分析（Wilcoxon検定、Nemenyi検定）を用いて比較する。

実験結果

リサーチクエスチョン

• RQ1 統一知識蒸留を用いて、病理ファウンデーションモデルは幅広いタスクに一般化できるのか？
• RQ2 39の多様なCPathタスクにおいて、GPFMは既存モデルと比較してどう性能を示すか？
• RQ3 エキスパート知識蒸留が下流タスクの性能に与える影響は？
• RQ4 専門家モデルからの蒸留はタスク間のロバスト性と一般化を向上させるか？
• RQ5 外部検証データセットおよび異なるタスクカテゴリ（WSI分類、生存、ROI分類、検索、VQA、レポート生成）でのGPFMの性能はどうか？

主な発見

• GPFMは39タスクで平均順位1.36を達成し、29タスクが1位にランク付けされている。
• 2番目に良いモデル（UNI）は平均順位2.96で、1位のタスクが4つ。
• Wilcoxon検定ではGPFMが他のモデルを有意に上回ることを示す（p < 0.001）。
• GPFMはWSI分類タスクで最高の平均AUC（0.956）と、最良のバランス精度（0.833）、加重F1（0.834）を達成。
• ROI分類ではGPFMが最高の平均AUC（0.955）を達成し、複数データセットで先頭を走る。外部検証では3データセットで平均順位1.5を示す。
• GPFMは遺伝子変異予測で高い性能を示す（例：LUAD-TP53、AUC 0.855；Glioma IDH1、AUC 0.998）。
• アブレーション研究は、Expert Knowledge Distillationを除去すると、平均でAUCが0.6%、weighted F1が1.8%、バランス精度が1.8%低下することを示している。