[論文レビュー] Molecular-driven Foundation Model for Oncologic Pathology

Anurag Vaidya, Andrew Zhang+16 more|ArXiv.org|Jan 28, 2025

Genetics, Bioinformatics, and Biomedical Research被引用数 8

ひとこと要約

Threads はスライドレベルのファウンデーションモデルで、組織学と分子プロファイルを共同にエンコードすることで普遍的な全スライド埋め込みを学習し、54 の腫瘍学タスクで最先端の性能を達成し、少数ショット学習と転移学習を効果的に可能にします。

ABSTRACT

Foundation models are reshaping computational pathology by enabling transfer learning, where models pre-trained on vast datasets can be adapted for downstream diagnostic, prognostic, and therapeutic response tasks. Despite these advances, foundation models are still limited in their ability to encode the entire gigapixel whole-slide images without additional training and often lack complementary multimodal data. Here, we introduce Threads, a slide-level foundation model capable of generating universal representations of whole-slide images of any size. Threads was pre-trained using a multimodal learning approach on a diverse cohort of 47,171 hematoxylin and eosin (H&E)-stained tissue sections, paired with corresponding genomic and transcriptomic profiles - the largest such paired dataset to be used for foundation model development to date. This unique training paradigm enables Threads to capture the tissue's underlying molecular composition, yielding powerful representations applicable to a wide array of downstream tasks. In extensive benchmarking across 54 oncology tasks, including clinical subtyping, grading, mutation prediction, immunohistochemistry status determination, treatment response prediction, and survival prediction, Threads outperformed all baselines while demonstrating remarkable generalizability and label efficiency. It is particularly well suited for predicting rare events, further emphasizing its clinical utility. We intend to make the model publicly available for the broader community.

研究の動機と目的

• データ不足とジーガピクセルWSIのサイズに対処するため、癌種やタスクを超えて一般化する普遍的なスライド埋め込みを作成する。
• WSI を付随する分子データ（転写組成およびゲノムレベル）と整列させることで多言語前学習を活用し、生物学的に関連した組織情報を捉える。
• 広範なベンチマーク（54 タスク、23 コホート）で Threads を評価し、一般化性、転移性、ラベル効率を示す。
• 臨床的有用性を支持するため、データ効率、外部コホートへの転移、少数ショット性能の分析を提供する。

提案手法

• 二部構成のアーキテクチャ：パッチ用のROIエンコーダ（CONCHv1.5 ViT-L）と、タイル埋め込みをスライド表現へ集約する注意機構を持つスライドエンコーダ。
• WSI埋め込みを対応する分子プロファイル（転写組成と標的ゲノミクス）と整列させるためのクロスモーダルコントラスト学習によるマルチモーダル前学習。
• MGH、BWH、TCGA、および GTEx からの大規模ヒストモoleculeデータセット（>47k サンプル） MBTG-47k でのトレーニング。
• 線形プロービングとさまざまな指標を用いた、4つのファミリにまたがる54タスクでの下流評価（臨床的サブタイプ化/グレーディング、変異予測、IHC状態、治療/予後）。
• オプションのファインチューニング：事前学習から初期化された Threads は下流タスク向けにファインチューニングすることで顕著な利得を得る。
• 分子プロンプティングの導入により、分子プロトタイプを用いたゼロショット風分類を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多モーダル分子ガイダンスで学習されたスライドレベルのエンコーダは、多様な腫瘍学タスクに適用可能な普遍的なWSI埋め込みを生成できるか。
• RQ2 広範なベンチマークにおける精度と頑健性の観点で、既存の全スライドエンコーダ（Prism, GigaPath, Chief）と Threads はどう比較されるか。
• RQ3 Threads 埋め込みの外部コホートへの転移性と、データ不足・希少イベントシナリオでの性能はどうか。
• RQ4 Threads は臨床的に関連するタスクに対して、データおよびラベル効率の高い性能（少数ショット学習や効果的なファインチューニングを含む）を提供するか。

主な発見

• Threads は54タスクで最先端の性能を達成し、線形プロービングにおいて Prism、GigaPath、Chief をそれぞれ絶対差分で 6.3%、9.9%、6.7% 上回る（P<0.001）。
• Threads はタスクレベルの顕著な利得をもたらし、例：臨床的サブタイプ化/グレーディングで 2.1%、変異予測で 6.1%、IHC 状態で 4.6%、予後予測で 8.9%（最良ベースラインに対する相対値）。
• Threads は外部コホートへの堅牢な転移性を示し、転移タスク8/9でベースラインを上回り、乳腺・肺のサブタイプ化で高いAUCを維持（例：98.4% および 96.5% AUC）。
• データ不足の状況では、Threads は特に小〜中規模コホートで少数ショット性能と治療反応/生存予測に卓越した性能を示す（ベースラインに対して絶対利得が約5–9%まで）。
• Threads のファインチューニングは、ゼロからのトレーニングよりも顕著な利得をもたらす（54タスク平均2.2%、変異予測で最大5.5%）。
• Threads は分子プロンプティングを可能にし、8タスクで分子プロタイプを用いたゼロショット風性能で競争力を発揮。