[論文レビュー] RudolfV: A Foundation Model by Pathologists for Pathologists

Jonas Dippel, Barbara Feulner+18 more|arXiv (Cornell University)|Jan 8, 2024

Zoonotic diseases and public health被引用数 24

ひとこと要約

RudolfV は、病理医の指導によるデータクレンジングと染色に配慮した拡張を用いた厳選された多様なラベルなしデータセットで事前学習し、従来より少ないスライドと小型モデルで強力なベンチマークを達成する。

ABSTRACT

Artificial intelligence has started to transform histopathology impacting clinical diagnostics and biomedical research. However, while many computational pathology approaches have been proposed, most current AI models are limited with respect to generalization, application variety, and handling rare diseases. Recent efforts introduced self-supervised foundation models to address these challenges, yet existing approaches do not leverage pathologist knowledge by design. In this study, we present a novel approach to designing foundation models for computational pathology, incorporating pathologist expertise, semi-automated data curation, and a diverse dataset from over 15 laboratories, including 58 tissue types, and encompassing 129 different histochemical and immunohistochemical staining modalities. We demonstrate that our model "RudolfV" surpasses existing state-of-the-art foundation models across different benchmarks focused on tumor microenvironment profiling, biomarker evaluation, and reference case search while exhibiting favorable robustness properties. Our study shows how domain-specific knowledge can increase the efficiency and performance of pathology foundation models and enable novel application areas.

研究の動機と目的

• 研究室間・染色・スキャナー間のデータ不足とデータセットシフトに対処することで、頑健な組織病理AIの推進を目指す。
• 病理医の入力を取り入れて多様なラベルなしデータセットを整備し、自己教師あり学習を改善する。
• データのグルーピング、クラスタリング、拡張にドメイン知識を統合して一般化性能を高める。
• 公的および内部ベンチマークで基盤モデルを評価し、最先端と比較する。

提案手法

• EU/USの15ラボにわたる103,849枚のWSIと791百万パッチのデータセットを、3つの染色カテゴリ(H&E, IHC, others)でキュレーションする。
• スライドを26の意味的に整合するグループに分類し、グループ内の均質性とグループ間の異質性を確保する。
• 36のコンピュータビジョン特徴を用いてパッチをクラスタリングし、1スライドあたり500パッチをサンプリング、k-means (k=100)を実行し、病理医に9つの組織クラスをサンプリングウェイトとともに割り当ててもらう。
• パッチ間で染色/色プロファイルを転送し、向きの拡張を適用してトレーニングを拡張する；DINOv2トレーニングではソラリゼーションを除去する。
• Prior SSL重みから初期化された状態で、625k反復・960バッチサイズのDINOv2自己教師ありフレームワークを用いてViT-L/14を事前学習する。

実験結果

リサーチクエスチョン

• RQ1 病理医の指導によるデータキュレーションで訓練された基盤モデルは、より大きくてキュレーションが少ないモデルより組織病理タスクで優位に立てるか。
• RQ2 H&E以外の染色を取り入れ、明示的な染色/カラー拡張を行うことで染色不変性と下流性能が改善されるか。
• RQ3 厳選されたパッチ/スライドのグルーピングが、多様な組織病理データのSSLにおける表現学習にどう影響するか。
• RQ4 ドメイン認識型拡張とパッチサンプリングが、公的および内部ベンチマークへの一般化に与える影響は何か。

主な発見

• RudolfVは、公開ベンチマークで最先端と競合する性能を、はるか少ないスライドと小型モデルで達成する。
• 公開タスクにおける線形プロービングでは、RudolfVは0.928, 0.827, 0.960, 0.939, 0.766, 0.768を達成し、平均は0.905。
• 内部IHC/HE細胞分類タスクでは、競合より高い精度を示す（IHC: finetune 0.8745 対 linear 0.6567、HE: finetune 0.8864 対 linear 0.7352）。
• Phikon や ViT/DINO ベースラインなどの方法と比較して、RudolfV はほとんどのベンチマークで顕著な向上を示し、病理領域知識の有効な統合を示唆する。
• 著者は、より大規模なデータとモデルでさらなる向上を見込んでおり、実世界の診断およびマルチモーダルタスクを支援する展開を想定している。