[論文レビュー] Multimodal Whole Slide Foundation Model for Pathology

Tong Ding, Sophia J. Wagner+21 more|arXiv (Cornell University)|Nov 29, 2024

Radiomics and Machine Learning in Medical Imaging被引用数 23

ひとこと要約

TITAN は、視覚的自己教師あり学習と病理レポートへの視覚-言語整合性を用いて335,645枚の全スライド画像と423,122件の合成キャプションで事前学習したマルチモーダルの全スライド基盤モデルで、ファインチューニングなしでゼロショット、少数ショット、そしてクロスモーダルタスクを可能にします。

ABSTRACT

The field of computational pathology has been transformed with recent advances in foundation models that encode histopathology region-of-interests (ROIs) into versatile and transferable feature representations via self-supervised learning (SSL). However, translating these advancements to address complex clinical challenges at the patient and slide level remains constrained by limited clinical data in disease-specific cohorts, especially for rare clinical conditions. We propose TITAN, a multimodal whole slide foundation model pretrained using 335,645 WSIs via visual self-supervised learning and vision-language alignment with corresponding pathology reports and 423,122 synthetic captions generated from a multimodal generative AI copilot for pathology. Without any finetuning or requiring clinical labels, TITAN can extract general-purpose slide representations and generate pathology reports that generalize to resource-limited clinical scenarios such as rare disease retrieval and cancer prognosis. We evaluate TITAN on diverse clinical tasks and find that TITAN outperforms both ROI and slide foundation models across machine learning settings such as linear probing, few-shot and zero-shot classification, rare cancer retrieval and cross-modal retrieval, and pathology report generation.

研究の動機と目的

• 病理学のための一般目的のマルチモーダル基盤モデルを、ROIレベルではなくスライドレベルで動作するよう開発する。
• 視覚SSLと病理レポートへの視覚-言語整合性を活用して、大規模WSIデータを活用する。
• 臨床ラベルを用いずにマルチモーダル理解を強化するために合成キャプションを組み込む。
• 微小病変検索、がん予後予測、およびクロスモーダルタスクでファインチューニングなしの一般化を実証する。

提案手法

• TITANを335,645枚の全スライド画像で視覚自己教師あり学習を用いて事前学習する。
• 病理レポートと対応するビジュアル表現を視覚-言語目標で整合させる。
• 病理のためのマルチモーダルAIコパイロットによって生成された423,122件の合成キャプションを組み込む。
• ファインチューニングなしで、さまざまな臨床タスクに対してゼロショット、少数ショット、線形プロービングを評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模WSIと合成キャプションから派生したマルチモーダル全スライド基盤モデルは、ファインチューニングなしにリソース制約のある臨床環境に一般化できるか？
• RQ2 TITANは、希少がん検索、クロスモーダル検索、病理レポート生成の性能は、ROIベースおよびスライドベースの基盤モデルと比較してどうか？

主な発見

• TITANは、線形プロービング、少数ショット、ゼロショット分類のすべてでROIおよびスライド基盤モデルを上回る。
• TITANは希少がん検索とクロスモーダル検索タスクで優れる。
• TITANは病理レポートを生成し、臨床ラベルを必要とせずにリソース制約のある臨床状況へ一般化できる。