[論文レビュー] SurvMamba: State Space Model with Multi-grained Multi-modal Interaction for Survival Prediction

Ying Chen, Jiajing Xie+4 more|arXiv (Cornell University)|Apr 11, 2024

Cancer-related molecular mechanisms researchBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、全スライド画像（WSIs）およびトランスクリプトミクスデータからのマルチグレイン階層的表現を活用して生存予測を向上させる、状態空間モデルであるSurvMambaを提案する。階層的相互作用Mamba（HIM）を用いてグレインレベル間のモード内モデリングを実現し、段階的相互作用融合Mamba（IFM）を用いてモード間の段階的相互作用を実現することで、5つのTCGAデータセットで最先端の性能を達成し、計算コストも低減した。c-indexは0.717を達成した。

ABSTRACT

Multi-modal learning that combines pathological images with genomic data has significantly enhanced the accuracy of survival prediction. Nevertheless, existing methods have not fully utilized the inherent hierarchical structure within both whole slide images (WSIs) and transcriptomic data, from which better intra-modal representations and inter-modal integration could be derived. Moreover, many existing studies attempt to improve multi-modal representations through attention mechanisms, which inevitably lead to high complexity when processing high-dimensional WSIs and transcriptomic data. Recently, a structured state space model named Mamba emerged as a promising approach for its superior performance in modeling long sequences with low complexity. In this study, we propose Mamba with multi-grained multi-modal interaction (SurvMamba) for survival prediction. SurvMamba is implemented with a Hierarchical Interaction Mamba (HIM) module that facilitates efficient intra-modal interactions at different granularities, thereby capturing more detailed local features as well as rich global representations. In addition, an Interaction Fusion Mamba (IFM) module is used for cascaded inter-modal interactive fusion, yielding more comprehensive features for survival prediction. Comprehensive evaluations on five TCGA datasets demonstrate that SurvMamba outperforms other existing methods in terms of performance and computational cost.

研究の動機と目的

• 全スライド画像（WSIs）およびトランスクリプトミクスデータにおける階層的構造の活用不足を是正すること。
• 高次元データに対して注意機構を用いる場合に生じる計算複雑性の低減。
• マルチグレイン特徴相互作用を活用することで、モード内表現学習およびモード間統合の両方を向上させること。
• マルチモーダル臨床データにおける長距離依存関係を捉えるスケーラブルで効率的なディープラーニングフレームワークの開発。

提案手法

• 細粒度（パッチ／遺伝子群）と粗粒度（領域／生物学的プロセス）の両レベルでのモード内特徴相互作用を効率的に行える、階層的相互作用Mamba（HIM）モジュールを提案。
• 前向きおよび後向きの両方向に順序依存性をモデル化するため、双方向Mambaアーキテクチャを採用し、表現学習を向上。
• WSIおよびトランスクリプトミクス特徴間の段階的でマルチグレインのモード間統合を実現する、相互作用融合Mamba（IFM）モジュールを導入。
• 線形計算量で長序列列をモデル化できる選択的構造的状態空間機構（Mamba）を用い、計算コストを低減するための注意機構の置き換え。
• WSIおよびトランスクリプトミクスデータを「バッグ」として扱い、インスタンス（パッチ／遺伝子群）の集合として扱うバッグオブフォーチャーズパラダイムを適用し、複数インスタンス学習を可能に。
• Bi-Mambaブロックをラテナルフィュージョン戦略と統合し、生存予測のための特徴統合前に、ユニモーダル特徴を精錬する。

実験結果

リサーチクエスチョン

• RQ1 WSIおよびトランスクリプトミクスデータにおける階層的構造のマルチグレインモデリングは、生存予測性能の向上に寄与するか？
• RQ2 注意機構をMambaベースのアーキテクチャに置き換えることで、計算コストを低減しつつ予測性能を維持または向上できるか？
• RQ3 複数のグレインレベルで段階的なモード間相互作用が、マルチモーダル表現学習をどの程度向上させるか？
• RQ4 状態空間フレームワークにおける双方向モデリングは、単方向または非再帰的アプローチと比較して予後予測性能をどの程度向上させるか？

主な発見

• SurvMambaは5つのTCGAがんデータセットでc-index 0.717を達成し、既存の最先端手法と比較して予測性能および計算効率の両面で優れた性能を示した。
• アブレーションスタディの結果、HIMモジュールに粗粒度特徴を組み込むことで、c-indexが細粒度のみの場合の0.689から0.695に向上した。これにより階層的モデリングの有効性が裏付けられた。
• 細粒度特徴にIFMを適用した場合、c-indexは0.701に上昇したが、粗粒度IFMでは0.689にとどまった。これによりマルチグレインモード間統合の有効性が確認された。
• SurvMambaにおける双方向設計は、特にBRCA（ボックスプロットの重複が最小限）において、予測のロバスト性を顕著に向上させ、中央値のc-indexが高く、四分位範囲が狭くなった。
• カプラン＝マイヤー生存曲線では、すべての5つのTCGAデータセットで低リスク群と高リスク群の間で明確な分離が観察され、p値が0.05未満であった。これは統計的に有意な予後予測能力を示している。
• 注意機構ベースの手法と比較して、モデルの計算複雑性が低く抑えられており、大規模な臨床応用に適していることが実証された。