[論文レビュー] Virchow: A Million-Slide Digital Pathology Foundation Model

Eugene Vorontsov, Alican Bozkurt+29 more|arXiv (Cornell University)|Sep 14, 2023

AI in cancer detection被引用数 56

ひとこと要約

Virchow は百万スライドの自己教師付き基盤モデルで、632M パラメータ、1.5百万 WSIs で訓練され、希少および Out-of-Distribution ケースを含む多様な組織に対して、最先端のパン癌検出とバイオマーカ予測を実現します。

ABSTRACT

The use of artificial intelligence to enable precision medicine and decision support systems through the analysis of pathology images has the potential to revolutionize the diagnosis and treatment of cancer. Such applications will depend on models' abilities to capture the diverse patterns observed in pathology images. To address this challenge, we present Virchow, a foundation model for computational pathology. Using self-supervised learning empowered by the DINOv2 algorithm, Virchow is a vision transformer model with 632 million parameters trained on 1.5 million hematoxylin and eosin stained whole slide images from diverse tissue and specimen types, which is orders of magnitude more data than previous works. The Virchow model enables the development of a pan-cancer detection system with 0.949 overall specimen-level AUC across 17 different cancer types, while also achieving 0.937 AUC on 7 rare cancer types. The Virchow model sets the state-of-the-art on the internal and external image tile level benchmarks and slide level biomarker prediction tasks. The gains in performance highlight the importance of training on massive pathology image datasets, suggesting scaling up the data and network architecture can improve the accuracy for many high-impact computational pathology applications where limited amounts of training data are available.

研究の動機と目的

• Precision medicine and decision-support in pathology を促進するために、large-scale WSIs を活用して多様な組織病理パターンを捉える。
• データとモデルサイズを拡大し、癌検出とバイオマーカタスクの下流性能を向上させる。
• 病理表現に対する self-supervised 学習（DINOv2）の実現可能性と利点を示す。
• pan-cancer フレームワークを用いて希少癌および外部データ（Out-of-Distribution）に対するロバスト性を評価する。

提案手法

• DINOv2 self-supervised アルゴリズムを用いて 632M パラメータ ViT（ViT-H/14）を、17 種類の組織からなる 100k 名の患者の 1.5 百万 H&E WSIs で訓練する。
• 前景組織ト tiles から 224x224 の埋め込みを抽出し、クラス・トークンとパッチ・トークンの平均を連結して 2,560 次元の Virchow 埋め込みを形成する。
• weakly supervised specimen-level pan-cancer アグリゲータ（Agata）を訓練し、標本内のスライド間でタイル埋め込みを用いて癌の有無を予測する。
• パン癌検出（希少癌および外部データを含む）とスライドレベルのバイオマーカー予測（ColonMSI、BladderFGFR、LungEGFR に対する MSK-IMPACT由来ラベル）で埋め込みをベンチマークする。
• Virchow をベースライン埋め込み（Phikon, CTransPath）と AUC および 95% 感度時の特異度で比較する; タイルレベル線形プロービングと OOD 評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 1. 1.5 百万 WSIs で訓練された基盤モデルは、希少癌および外部データを含む 17 種類の癌にわたるパン癌検出へ一般化できるか。
• RQ2 2. Virchow 埋め込みは、既存のベースラインと比較してバイオマーカー予測（Colon MSI、Bladder FGFR、Lung EGFR）を改善するか。
• RQ3 3. Virchow が学習したタイルレベル埋め込みは、意味的に有意義な構造と Out-of-Distribution データセットでのロバスト性を保持するか。
• RQ4 4. 大規模病理データとモデルサイズが、トレーニングデータが限定的な場合の下流タスクに与える影響は何か。

主な発見

Biomarker	Backbone	ColonMSI	BladderFGFR	LungEGFR
ColonMSI	CTransPath	0.970 (0.946, 0.989)	0.882 (0.824, 0.930)	0.807 (0.758, 0.852)
ColonMSI	Phikon	0.957 (0.905, 0.992)	0.886 (0.838, 0.930)	0.821 (0.771, 0.864)
ColonMSI	Virchow	0.972 (0.950, 0.989)	0.902 (0.862, 0.941)	0.853 (0.804, 0.891)

• Virchow 埋め込みを用いたパン癌検出は全体の AUC が 0.949 に達し、Phikon（0.930）および CTransPath（0.904）を上回った。
• Virchow 埋め込みは希少癌で AUC 0.937 を示し、希少データへの強い一般化を実証。
• Virchow 埋め込みを用いたバイオマーカー予測は、ColonMSI 0.972（95% CI 0.950–0.989）、Bladder FGFR 0.902（95% CI 0.862–0.941）、Lung EGFR 0.853（95% CI 0.804–0.891）を達成。
• タイルレベルのベンチマークは、OOD や CRC-no-norm タスクを含む多様なデータセットにおいて Virchow がベースラインと同等または上回ることを示し、定性的分析では頑健で解釈可能なクラスタリングを示す。
• Virchow の性能改善は、大規模データとアーキテクチャによるものであり、計算病理タスクにおけるデータとモデルのスケーリングの利点を示唆する。