[論文レビュー] Cross-Modal Translation and Alignment for Survival Analysis

Fengtao Zhou, Hao Chen|arXiv (Cornell University)|Sep 22, 2023

AI in cancer detection被引用数 4

ひとこと要約

本論文は、病理画像とゲノムプロファイルの両方から同時に学習する新しいフレームワークであるクロスモーダル翻訳とアライメント（CMTA）を提案する。CMTAは、平行なエンコーダ・デコーダ構造とクロスモーダルアテンションモジュールを用いて、対応するモダリティ間の特徴をアライメントすることで、モダリティ内表現を強化する。CMTAは、5つのTCGAデータセットにおいて最先端の手法を上回り、単一のモダリティを監視者として用いずに、クロスモーダル相関を効果的に捉え、補完的情報を効率的に転送する。

ABSTRACT

With the rapid advances in high-throughput sequencing technologies, the focus of survival analysis has shifted from examining clinical indicators to incorporating genomic profiles with pathological images. However, existing methods either directly adopt a straightforward fusion of pathological features and genomic profiles for survival prediction, or take genomic profiles as guidance to integrate the features of pathological images. The former would overlook intrinsic cross-modal correlations. The latter would discard pathological information irrelevant to gene expression. To address these issues, we present a Cross-Modal Translation and Alignment (CMTA) framework to explore the intrinsic cross-modal correlations and transfer potential complementary information. Specifically, we construct two parallel encoder-decoder structures for multi-modal data to integrate intra-modal information and generate cross-modal representation. Taking the generated cross-modal representation to enhance and recalibrate intra-modal representation can significantly improve its discrimination for comprehensive survival analysis. To explore the intrinsic crossmodal correlations, we further design a cross-modal attention module as the information bridge between different modalities to perform cross-modal interactions and transfer complementary information. Our extensive experiments on five public TCGA datasets demonstrate that our proposed framework outperforms the state-of-the-art methods.

研究の動機と目的

• 既存の生存解析手法がクロスモーダル相関を無視するか、一方のモダリティを監視者として依存するという限界を是正すること。
• 一方のモダリティが判別力に劣っていても、病理画像とゲノムプロファイルの両方から得られる補完的情報を保持・活用すること。
• 相互アライメントに基づくクロスモーダル表現を用いて、モダリティ内表現の判別力を向上させることで、生存予測の正確性を向上させること。
• 高品質な病理的特徴が低品質なゲノム指導致命の影響を受けるのを避ける、ロバストで対称的なマルチモーダル学習フレームワークの構築。

提案手法

• 病理画像とゲノムプロファイルから独立してモダリティ内表現を抽出するために、2つの平行なエンコーダ・デコーダネットワークを用いる。
• 相互作用と補完的特徴の転送をモデル化する情報ブリッジとして、クロスモーダルアテンションを導入する。
• クロスモーダル表現を用いて、元のモダリティ内特徴を再キャリブレーションし、強化することで、その判別力を向上させる。
• クロスモーダル表現が対応するモダリティ内表現に近づくように、アライメント損失 $\mathcal{L}_{sim}$ を適用する。これにより、モダリティ固有の意味論が保持される。
• 勾配漏れを防ぎ、重複する共有特徴の学習を回避するために、損失計算時にデタッチ操作を適用する。
• TransMILベースのアーキテクチャで、画像パッチ間の空間的関係をモデル化するためにPPEGモジュールを用いる。

実験結果

リサーチクエスチョン

• RQ1 対称的かつアテンションベースのクロスモーダルフレームワークは、従来の統合手法やアテンション誘導手法を上回る生存予測性能を達成できるか？
• RQ2 クロスモーダルアライメントは、マルチモーダル生存解析におけるモダリティ内表現の判別力にどのように影響するか？
• RQ3 類似度メトリクス（例：L1、MSE、コサイン）の違いが、クロスモーダル表現学習に与える影響は何か？
• RQ4 クロスモーダルアテンションやPPEGといったアーキテクチャ的要素が、モデル性能にどのように寄与するか？
• RQ5 アライメント制約やデタッチ操作を削除すると、モデル性能が著しく低下するか？

主な発見

• CMTAは5つのTCGAデータセットにおいて最先端の性能を達成し、既存手法を上回る生存予測性能を示した。
• 類似度メトリクスとしてL1ノルムを用いることで、データセットのほとんどで最良の性能が得られたが、GBMLGGを除き、すべてのメトリクスが同程度の性能を示した。
• クロスモーダルアテンションモジュールを削除すると、LUADで最大4.93%の性能低下が生じ、特徴相互作用においてその重要性が示された。
• アライメント制約 $\mathcal{L}_{sim}$ を削除すると、BRCAで3.75%の性能低下が生じ、表現品質の維持においてその重要性が確認された。
• デタッチ操作を削除すると、BLCAで9.08%の性能低下が生じ、冗長な特徴の学習を防ぎ、効果的な最適化を維持する役割があることが示された。
• PPEGモジュールは顕著な貢献を示しており、UCECでその削除により3.16%の性能低下が生じ、全スライド画像における空間的コンテキストのモデル化における役割が強調された。