[論文レビュー] Multimodal Prototyping for cancer survival prediction

Andrew H. Song, Richard J. Chen+4 more|arXiv (Cornell University)|Jun 28, 2024

Biomedical Text Mining and Ontologies被引用数 6

ひとこと要約

MMPは教師なしの形態学および経路プロトタイプを導入してヒストロジーとトランスクリプトミクスのトークンを圧縮し、Transformer または OT クロスアライメントを用いたメモリ効率の高いマルチモーダル融合を実現し、6つのTCGAコホートにわたる癌生存予測を可能にする。

ABSTRACT

Multimodal survival methods combining gigapixel histology whole-slide images (WSIs) and transcriptomic profiles are particularly promising for patient prognostication and stratification. Current approaches involve tokenizing the WSIs into smaller patches (>10,000 patches) and transcriptomics into gene groups, which are then integrated using a Transformer for predicting outcomes. However, this process generates many tokens, which leads to high memory requirements for computing attention and complicates post-hoc interpretability analyses. Instead, we hypothesize that we can: (1) effectively summarize the morphological content of a WSI by condensing its constituting tokens using morphological prototypes, achieving more than 300x compression; and (2) accurately characterize cellular functions by encoding the transcriptomic profile with biological pathway prototypes, all in an unsupervised fashion. The resulting multimodal tokens are then processed by a fusion network, either with a Transformer or an optimal transport cross-alignment, which now operates with a small and fixed number of tokens without approximations. Extensive evaluation on six cancer types shows that our framework outperforms state-of-the-art methods with much less computation while unlocking new interpretability analyses.

研究の動機と目的

• histology (WSIs) と transcriptomics を統合して生存予測を行うことによる予後推定の動機づけ。
• プロトタイプベースの要約を通じてトークン次元を削減し、マルチモーダル融合を効率化。
• コンパクトなプロトタイプトークン上で動作する統一融合フレームワークを開発する（Transformer または OT）。
• 形態学的プロトタイプと経路プロトタイプの相互作用を可視化して解釈性を高める。
• TCGAデータ上で複数の癌タイプに対する予測性能の向上を実証する。

提案手法

• Gaussian mixtures によるパッチ埋め込みのクラスタリングを用いて形態学プロトタイプを構築し、小さく固定されたスライド要約を生成する（C_h <= 32）。
• 固定された生物経路プロトタイプ（Hallmark経路、C_g = 50）を用いてトランスクリプトミクスを表現する。
• 融合前に学習された射影を用いてモダリティ間のトークン次元を合わせる。
• Transformerアテンションまたはエントロピー正則化付き最適輸送（OT）クロスアライメントでモダリティを融合し、モダリティ内外の相互作用を可能にする。
• 融合患者埋め込みに対してCox比例ハザード損失を用いて生存予測を行う。
• オプションとしてプロトタイプ固有のエンコーディングおよびプロトタイプ固有のポストアテンションネットワークを組み込み、プロトタイプの解釈性を高める。

Figure 1: Overview of MMP . (A) The tessellated WSI patches (tokens) are projected to low-dimensional embeddings with a pretrained patch encoder. The patch embeddings ( $N_{\text{h.}}>10^{4}$ ) are aggregated to slide summary using a small set of prototypes ( $C_{\text{h.}}<$ 32). (B) The transcript

実験結果

リサーチクエスチョン

• RQ1 形態学ベースのプロトタイプは、予後情報の喪失なくWSIを効果的に要約して生存予測を行えるか。
• RQ2 経路ベースのプロトタイプはトランスクリプトミクスデータをマルチモーダル融合に適した固定トークン集合へ圧縮できるか。
• RQ3 TransformerベースとOTベースのクロスモーダル融合はプロトタイプトークンを用いてどのように比較されるか。
• RQ4 プロトタイプベースのマルチモーダル融合は既存の単一モダリティおよびマルチモーダルのベースラインを上回るか。
• RQ5 プロトタイプ同士の相互作用は解釈可能なクロスモーダル予後洞察をどの程度提供するか。

主な発見

• MMPは6つのTCGAがんタイプを通じて、ほぼすべてのベースライン（単一モダルおよびマルチモダル）を上回る。
• プロトタイプベースの組織要約は入力を大幅に圧縮（>300x）しつつ予測力を保持。
• 経路プロトタイプはトランスクリプトミクスのコンパクトで意味のある表現を提供し、効果的なマルチモーダル融合を可能にする。
• TransformerとOTのクロスアラインメントは同等のパフォーマンスを示し、両アプローチ間の関連性を確認。
• MMPのプロトタイプを用いた変種は臨床ベースラインおよび多くのベースラインを上回る平均一致指数を達成（例：MMP_OT および MMP_Trans. は強い結果を示す）。
• プロトタイプベースの単一モダリティベースライン（AttnMISL, unimodal MMP）は引き続き上位の成績を維持し、プロトタイプの品質を強調。

Figure 2: Cross-modal interaction visualization . (A) A WSI for a BRCA patient. (B) The morphological prototype heatmap for $c=13$ (C13), representing invasive ductal carcinoma (IDC), based on the posterior distribution for C13. (C) Prototype assignment map showing the closest morphological prototyp