[論文レビュー] Deep Biological Pathway Informed Pathology-Genomic Multimodal Survival Prediction

Lin Qiu, Aminollah Khormali+1 more|arXiv (Cornell University)|Jan 6, 2023

AI in cancer detection被引用数 5

ひとこと要約

PONETは、全スライド画像（WSIs）とゲノムデータを統合する、生物学的経路にインスパイアされた深層学習モデルであり、マルチモーダルながん予後予測を実現する。階層的統合フレームワークと因子分解型二重積モデリング、およびグラフベースのアテンションを採用することで、6つのTCGAデータセットにおいて最先端の性能を達成するとともに、患者の予後結果に関連する重要な遺伝子および経路の解釈可能な同定を可能にする。

ABSTRACT

The integration of multi-modal data, such as pathological images and genomic data, is essential for understanding cancer heterogeneity and complexity for personalized treatments, as well as for enhancing survival predictions. Despite the progress made in integrating pathology and genomic data, most existing methods cannot mine the complex inter-modality relations thoroughly. Additionally, identifying explainable features from these models that govern preclinical discovery and clinical prediction is crucial for cancer diagnosis, prognosis, and therapeutic response studies. We propose PONET- a novel biological pathway-informed pathology-genomic deep model that integrates pathological images and genomic data not only to improve survival prediction but also to identify genes and pathways that cause different survival rates in patients. Empirical results on six of The Cancer Genome Atlas (TCGA) datasets show that our proposed method achieves superior predictive performance and reveals meaningful biological interpretations. The proposed method establishes insight into how to train biologically informed deep networks on multimodal biomedical data which will have general applicability for understanding diseases and predicting response and resistance to treatment.

研究の動機と目的

• 全スライド画像（WSIs）とゲノムプロファイルの間の複雑なクロスモダリティ相互作用のモデリングが限定的であるがん予後予測の課題に対処すること。
• キュレートされた生物学的経路を通じた事前生物学的知識の統合により、予後予測の精度を向上させること。
• 患者の予後に関与する重要な遺伝子および経路を同定することで、解釈可能なモデル出力を実現すること。
• WSIにおけるゲノム経路活性と形態的特徴の空間的関連性を可視化し、生物学的インサイトを強化すること。
• 既存手法を上回る性能と解釈可能性を兼ね備えつつ、計算効率の良い強力なマルチモーダル統合アーキテクチャを開発すること。

提案手法

• PONETは、病理画像、ゲノムデータ、生物学的経路の間の複雑な相互作用を捉えるために、逐次的に単モダリティ、二モダリティ、三モダリティ統合を実行する階層的マルチモーダル統合フレームワークを採用する。
• 標準的なクリロネル積ベースの統合と比較して、パラメータ数とFLOP数を削減する効率的な因子分解型二重積モジュールを用いてクロスモダリティ相互作用をモデル化する。
• 生物学的経路の関係を符号化するためにグラフ統合ネットワークを適用し、経路に配慮した表現学習を可能にする。
• モダリティ固有のアテンションおよびクロスモダリティアテンションメカニズムを統合し、WSIおよびゲノムプロファイルからの情報特徴を強調する。
• MCAT（マルチモーダル共通アテンショントランスフォーマー）を用いた共アテンションメカニズムにより、WSIレベルのアテンションヒートマップをトップ経路埋め込みと整合させる。
• 勾配ベースのセイリエンシー図とトップ経路ランク付けにより、生存結果と生物学的に意味のある関連性を明らかにする経路の重要度を評価する。

実験結果

リサーチクエスチョン

• RQ1 経路にインスパイアされた深層学習モデルは、全スライド画像とゲノムプロファイルを統合することで、生存予後予測の精度を向上させることができるか？
• RQ2 このモデルは、ヒストパスロジカル画像と分子データの間の複雑なクロスモダリティ相互作用をどの程度効果的に捉え、活用できるか？
• RQ3 このモデルは、患者の生存と相関する生物学的に関連する遺伝子および経路をどの程度正確に同定・解釈できるか？
• RQ4 WSIにおける経路活性の空間的可視化は、予後の形態的決定要因を明らかにできるか？
• RQ5 提案された階層的統合メカニズムは、既存のマルチモーダル統合手法と比較して、効率性および性能の面で優れているか？

主な発見

• PONETは6つのTCGAデータセットにおいて優れた生存予後予測性能を達成し、高リスク群と低リスク群に患者を分類する際のログランクp値が6.60e-7であった。
• モデルは生存に関連する主要な生物学的経路を同定した。その例として、TGF-β受容体シグナル伝達の低下、PTEN調節、NLRP1インフラマソーム活性化、および非キャノニカルなNOTCH3シグナル伝達が挙げられる。
• PONETはモデルの複雑さを顕著に低減し、推論時においてわずか280万パラメータ、31億FLOPS（3.1G FLOPS）に留めた。これはPathomic Fusionの約1.6%、GPDBNの約3.4%に相当する。
• 共アテンションの可視化により、高経路アテンションが予測死亡リスクの上昇と関連するWSIにおける明確な空間パターンが観察され、ゲノタイプとフェノタイプの関連性が示された。
• PONETが同定した上位の遺伝子および経路は、がん進行、免疫調節、および血管新生に関与する既知の役割を強く示しており、生物学的に妥当な妥当性を有していた。
• 階層的統合戦略は、ARGFやHFBSurvなどのベースラインモデルと比較して、予測性能およびモデルの解釈可能性の両面で優れていた。