[論文レビュー] Pathomic Fusion: An Integrated Framework for Fusing Histopathology and Genomic Features for Cancer Diagnosis and Prognosis
Pathomic Fusion は、がんの予後予測および診断のため、組織病理画像と多オミクスデータ（突然変異、CNV、RNA-Seq）を統合する、新規で解釈可能なマルチモーダル深層学習フレームワークを提案する。ゲーティングベースのアテンション機構を用いてモダリティの表現力を制御した後、クリロネッカー積に基づく特徴相互作用を実行することで、単一モダリティネットワークを上回る性能を発揮し、画像および細胞グラフにおけるサリエンシー・マップにより解釈可能性を向上させた。TCGAの膠腫および透明細胞腎細胞癌において、生存予測性能が向上した。
Cancer diagnosis, prognosis, and therapeutic response predictions are based on morphological information from histology slides and molecular profiles from genomic data. However, most deep learning-based objective outcome prediction and grading paradigms are based on histology or genomics alone and do not make use of the complementary information in an intuitive manner. In this work, we propose Pathomic Fusion, an interpretable strategy for end-to-end multimodal fusion of histology image and genomic (mutations, CNV, RNA-Seq) features for survival outcome prediction. Our approach models pairwise feature interactions across modalities by taking the Kronecker product of unimodal feature representations and controls the expressiveness of each representation via a gating-based attention mechanism. Following supervised learning, we are able to interpret and saliently localize features across each modality, and understand how feature importance shifts when conditioning on multimodal input. We validate our approach using glioma and clear cell renal cell carcinoma datasets from the Cancer Genome Atlas (TCGA), which contains paired whole-slide image, genotype, and transcriptome data with ground truth survival and histologic grade labels. In a 15-fold cross-validation, our results demonstrate that the proposed multimodal fusion paradigm improves prognostic determinations from ground truth grading and molecular subtyping, as well as unimodal deep networks trained on histology and genomic data alone. The proposed method establishes insight and theory on how to train deep networks on multimodal biomedical data in an intuitive manner, which will be useful for other problems in medicine that seek to combine heterogeneous data streams for understanding diseases and predicting response and resistance to treatment.
研究の動機と目的
- がんの予後予測および診断のため、組織病理画像と多オミクス分子特徴を統合する解釈可能なエンドツーエンドのフレームワークの開発。
- 組織像とゲノム情報の補完的特徴を活用しない単一モダリティの深層学習モデルの限界を解消すること。
- アテンションベースの説明可能性を用いて、画像およびゲノムモダリティの両方における予後的特徴のサリエンシー局在化を可能とすること。
- マルチモーダル入力に条件づけた際の特徴重要度の変化を理解し、形態的特徴と分子的プロファイルの間の協同的相互作用を明らかにすること。
- 腫瘍学における異種のバイオメディカルデータストリーム統合のためのスケーラブルで一般化可能なパラダイムの提供。
提案手法
- 全スライド画像と細胞グラフから形態的特徴を抽出するために、畳み込みニューラルネットワーク（CNN）とグラフ畳み込みネットワーク（GCN）をそれぞれ用いる。
- 統合の前に、単一モダリティ特徴抽出器（画像用CNN、ゲノム用SNN）を別々の教師あり学習パイプラインで訓練する。
- 各モダリティの特徴表現の表現力を制御するゲーティングベースのアテンション機構を適用し、モダリティ寄与度の動的調整を可能にする。
- ゲーティングされた特徴表現のクリロネッカー積を用いてマルチモーダル統合を実行し、モダリティ間のペアワイズ相互作用をモデル化する。
- TCGAの膠腫およびCCRCCデータセットを用いた交差検証によるエンドツーエンドの訓練を通じて、生存予後予測のための最終的マルチモーダルネットワークを訓練する。
- 画像および細胞グラフ入力の両方に対して勾配ベースのサリエンシー・マップ（例：Grad-CAM）を用い、予後予測に寄与する領域および遺伝子の局在化と解釈を行う。
実験結果
リサーチクエスチョン
- RQ1組織病理画像と多オミクスデータを統合するマルチモーダル深層学習フレームワークは、単一モダリティモデルを上回る生存予後予測性能を達成できるか？
- RQ2マルチモーダル入力に条件づけた際、特徴重要度スコアはどのように変化するのか？ これにより、形態的特徴と分子プロファイルの間の協同的相互作用についてどのような知見が得られるか？
- RQ3モデルは、生存予測および組織像グレードに予測的である生物学的に関連する領域（画像）および遺伝子（ゲノムデータ）を局在化できるか？
- RQ4形態的および分子的特徴の統合は、既存の分子サブタイプをどのように精緻化し、患者の分類を改善するか？
- RQ5アテンション機構とクリロネッカー統合戦略は、単一モダリティ解析では検出できない、解釈可能で臨床的に関連性のあるバイオマーカーを提供できるか？
主な発見
- 15-fold交差検証を用いたTCGAの膠腫およびCCRCCデータセットで、Pathomic Fusionは単一モダリティモデル（組織像またはゲノムのみで訓練）を上回る生存予後予測性能を顕著に向上させた。
- モデルは、膠腫において、微小血管増殖、腫瘍細胞濃度、異型性といった重要な組織病理的特徴を正しく局在化し、特にオリゴデンドログリオーマでは「フライドエッグ細胞」のパターンと一致する。
- 膠腫において、PTEN、MYC、CDKN2A、EGFR、FGFR2 といった既知の予後関連遺伝子が顕著に重要度が高いと特定された。ANO9 や RB1 はサブタイプに応じて重要度が変化し、腫瘍抑制遺伝子およびオントゲンの役割と整合的であった。
- CCRCC においては、リスク関連特徴として CYP3A7 の低下と PITX2、DDX43、XIST の上昇が強調された。形態的特徴に条件づけた際、HAGHL、MMP1、ARRP21 が重要度を増した。
- 形態的およびゲノム的特徴の統合により、遺伝子の帰属が変化し、EGFR の増幅は IDH 野生型膠芽腫において重要度を失った。これは、このサブタイプにおけるEGFR阻害薬の治療的意義の限界を支持する。
- モデルは、生の組織像では容易に特定できないが、生物学的に関連する細胞（例：異型細胞）を細胞グラフから特定でき、解釈可能性と臨床的妥当性を向上させた。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。