[論文レビュー] Histo-Genomic Knowledge Distillation For Cancer Prognosis From Histopathology Whole Slide Images

Zhikang Wang, Yumeng Zhang+4 more|arXiv (Cornell University)|Mar 15, 2024

AI in cancer detection被引用数 5

ひとこと要約

G-HANetは訓練中にヒスト-ゲノミック知識を蒸留してWSIベースの癌予後を向上させ、推論時にゲノムデータなしで単一モード推論を可能にする。

ABSTRACT

Histo-genomic multi-modal methods have recently emerged as a powerful paradigm, demonstrating significant potential for improving cancer prognosis. However, genome sequencing, unlike histopathology imaging, is still not widely accessible in underdeveloped regions, limiting the application of these multi-modal approaches in clinical settings. To address this, we propose a novel Genome-informed Hyper-Attention Network, termed G-HANet, which is capable of effectively distilling the histo-genomic knowledge during training to elevate uni-modal whole slide image (WSI)-based inference for the first time. Compared with traditional knowledge distillation methods (i.e., teacher-student architecture) in other tasks, our end-to-end model is superior in terms of training efficiency and learning cross-modal interactions. Specifically, the network comprises the cross-modal associating branch (CAB) and hyper-attention survival branch (HSB). Through the genomic data reconstruction from WSIs, CAB effectively distills the associations between functional genotypes and morphological phenotypes and offers insights into the gene expression profiles in the feature space. Subsequently, HSB leverages the distilled histo-genomic associations as well as the generated morphology-based weights to achieve the hyper-attention modeling of the patients from both histopathology and genomic perspectives to improve cancer prognosis. Extensive experiments are conducted on five TCGA benchmarking datasets and the results demonstrate that G-HANet significantly outperforms the state-of-the-art WSI-based methods and achieves competitive performance with genome-based and multi-modal methods. G-HANet is expected to be explored as a useful tool by the research community to address the current bottleneck of insufficient histo-genomic data pairing in the context of cancer prognosis and precision oncology.

研究の動機と目的

• 高価なゲノムシーケンスへの依存を削減する動機づけとして、訓練時にヒストゲノム対を活用する。
• 多モーダルな訓練信号の恩恵を受ける単一モードのWSI予後モデルを開発する。
• WSIから機能的ゲノミクスを再構成するクロスモーダル連携ブランチを提案する。
• 組み込みのハイパーアテンション生存ブランチを用いて、組織病理と蒸留されたゲノム情報を予後のために統合する。
• 最先端の単一モードおよび多モーダル手法と比較してTCGAデータセットで改善を実証する。

提案手法

• WSIsを機能カテゴリ別のパッチと遺伝子のバッグとして定式化する。
• WSIから機能的遺伝子を再構成するために、多頭クロスアテンションを備えたクロスモーダル連携ブランチ(CAB)を用いる。
• 高次元の遺伝子機能をモデル化しFpからXgを再構成するために自己正規化ネットワークを用いる。
• 形態に基づくアテンションとゲノム情報に基づくアテンションを統合するヒスト-ゲノミック・ハイパーアテンション(HM)モジュールを導入する。
• 生存(負対数尤度)とゲノム再構成(MSEおよびスケールしたコサイン誤差)を組み合わせた結合損失で訓練する。
• 推論時にはWSIsだけに依存し、デプロイ時にはゲノム処理を破棄する。

実験結果

リサーチクエスチョン

• RQ1 ヒストゲノミックデータからの多モーダル訓練信号は、単一モードのWSIベース予後を改善できるか？
• RQ2 クロスモーダル相互作用をどのようにWSI表現に蒸留して生存予測を向上させるか？
• RQ3 形態と蒸留されたゲノム信号のハイパーアテンション融合は、既存のWSIベースおよび多モーダル手法を上回るか？
• RQ4 ゲノム情報に基づく特徴構築のためのトップ-kパッチの選択が予後性能に与える影響は？

主な発見

手法	病理	ゲノム	KD	BLCA	BRCA	GBMLGG	LUAD	UCEC	総合
私たちの	✓	✓	✓	0.630 ± 0.032	0.664 ± 0.065	0.817 ± 0.022	0.612 ± 0.028	0.729 ± 0.050	0.690

• G-HANetは、5つのTCGAデータセットでゲノムベースおよび多モーダル手法と競合する性能を達成し、全体のc-indexは0.690。
• GBMLGGでは、G-HANetはデータセット特異的な最高のc-indexである0.817を達成。
• BRCAでは0.664を達成し、多くのWSIベースのベースラインを上回る。
• 最先端のWSIベース手法と比較して、BRCA、LUAD、UCECなどで顕著な改善を示す。
• モデルはデータセットをまたぐ堅牢性を示し、マルチモーダル知識を単一モーダル推論へ蒸留することの利点を示す。