[論文レビュー] iMD4GC: Incomplete Multimodal Data Integration to Advance Precise Treatment Response Prediction and Survival Analysis for Gastric Cancer

Fengtao Zhou, Yingxue Xu+12 more|arXiv (Cornell University)|Apr 1, 2024

Gastric Cancer Management and Outcomes被引用数 4

ひとこと要約

本稿では、欠損したモダリティを持つ胃がん（GC）の不完全なマルチモーダルデータ統合のための新規フレームワークiMD4GCを提案する。本フレームワークは、ユニモダールアテンション、クロスモダリティ相互作用、および「多くから少ないへ」の知識蒸留を組み合わせることで、治療反応予測と生存予後分析の精度を向上させる。大規模で現実世界のGCデータセット（欠損モダリティパターンを有する）において、GastricResでは80.2%のAUC、GastricSurでは71.4%のC-indexを達成し、既存手法を顕著に上回る性能を発揮した。

ABSTRACT

Gastric cancer (GC) is a prevalent malignancy worldwide, ranking as the fifth most common cancer with over 1 million new cases and 700 thousand deaths in 2020. Locally advanced gastric cancer (LAGC) accounts for approximately two-thirds of GC diagnoses, and neoadjuvant chemotherapy (NACT) has emerged as the standard treatment for LAGC. However, the effectiveness of NACT varies significantly among patients, with a considerable subset displaying treatment resistance. Ineffective NACT not only leads to adverse effects but also misses the optimal therapeutic window, resulting in lower survival rate. However, existing multimodal learning methods assume the availability of all modalities for each patient, which does not align with the reality of clinical practice. The limited availability of modalities for each patient would cause information loss, adversely affecting predictive accuracy. In this study, we propose an incomplete multimodal data integration framework for GC (iMD4GC) to address the challenges posed by incomplete multimodal data, enabling precise response prediction and survival analysis. Specifically, iMD4GC incorporates unimodal attention layers for each modality to capture intra-modal information. Subsequently, the cross-modal interaction layers explore potential inter-modal interactions and capture complementary information across modalities, thereby enabling information compensation for missing modalities. To evaluate iMD4GC, we collected three multimodal datasets for GC study: GastricRes (698 cases) for response prediction, GastricSur (801 cases) for survival analysis, and TCGA-STAD (400 cases) for survival analysis. The scale of our datasets is significantly larger than previous studies. The iMD4GC achieved impressive performance with an 80.2% AUC on GastricRes, 71.4% C-index on GastricSur, and 66.1% C-index on TCGA-STAD, significantly surpassing other compared methods.

研究の動機と目的

• 胃がん（GC）予測における不完全なマルチモーダルデータの課題に対処すること。具体的には、すべての患者がすべてのデータタイプ（画像診断、病理、ゲノムなど）を有するわけではないこと。
• 治療反応に多様性を示す局所的進行性胃がん（LAGC）患者における術前化学療法（NACT）反応予測および生存予後予測の精度を向上させること。
• 欠損モダリティを補完するために知識蒸留とクロスモダリティ相互作用を用いる、耐障害性・解釈可能性・スケーラビリティに優れたディープラーニングフレームワークの開発。
• NACT反応および生存予測のための、大規模で現実世界のマルチモーダルGCデータセットを構築・公開すること：GastricRes（698例）、GastricSur（801例）、TCGA-STAD（400例）

提案手法

• iMD4GCは、臨床、放射線、病理、遺伝子データから各モダリティ内特徴を抽出・表現するためのユニモダールアテンション層を用いる。
• 欠損したモダリティの補償を可能にするために、モダリティ間関係をモデル化するクロスモダリティ相互作用層を導入する。
• 「多くから少ないへ」の知識蒸留戦略により、完全なデータで訓練されたモデル（多くのモダリティ）から、少ないモダリティを持つモデルへ知識を転送し、不完全データに対する耐性を高める。
• モダリティ固有の特徴抽出および射影後、全モダリティに共通する200次元の埋め込みを共有する2層のTransformerアーキテクチャを採用する。
• 各データセットごとに調整されたハイパーパrameter α（特徴レベルの蒸留）および β（反応レベルの蒸留）を用い、蒸留損失のバランスを調整し、性能最適化を図る。
• 再現性を確保するため、Adam最適化手法、コサインスケジューリングによる学習率スケーリング、重み減衰、固定されたランダムシードを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 一部のモダリティが欠損している状況下でも、マルチモーダルディープラーニングフレームワークが胃がん患者のNACT反応を効果的に予測できるか？
• RQ2 クロスモダリティ相互作用と知識蒸留は、標準的な統合手法と比較して、不完全なマルチモーダルデータにおける性能をどのように向上させるか？
• RQ3 マルチモーダルGCデータにおける最適な統合戦略は何か。また、分類（分類）と回帰（回帰）の予測タスクによってその最適戦略は異なるか？
• RQ4 知識蒸留は、GC予後における低データまたは不完全データ環境下で、モデルの一般化性能および耐障害性をどの程度向上させるか？
• RQ5 ハイパーパrameter α および β は、異なるGCデータセットおよび予測タスクにおいて、性能にどのように影響を与えるか？

主な発見

• iMD4GCは、GastricResデータセットにおいてNACT反応予測で80.2%のAUCを達成し、ベースライン手法を顕著に上回った。
• GastricSurデータセットでは、iMD4GCが71.4%のC-indexを達成し、不完全なマルチモーダルデータを用いた生存予後予測において優れた性能を示した。
• TCGA-STADデータセットでは、iMD4GCが66.1%のC-indexを達成し、独立的で大規模なGCコhortにおいても一貫した性能を示した。
• アブレーションスタディの結果、すべてのデータセットにおいて特徴の連結が最良の統合戦略であることが確認された。一方、低ランクテンソル統合およびTransformerを用いた早期統合も強力な可能性を示した。
• ハイパーパrameter分析から、分類タスク（NACT反応）では特徴レベルの蒸留（α）が重要であるのに対し、回帰タスク（生存予測）では反応レベルの蒸留（β）がより重要であることが明らかになった。
• フレームワークは内在的な解釈可能性を備えており、臨床的インサイトを得るためのモダリティ寄与度および意思決定プロセスの透明な分析が可能となった。