[논문 리뷰] Multimodal Prototyping for cancer survival prediction

Andrew H. Song, Richard J. Chen외 4명|arXiv (Cornell University)|2024. 06. 28.

Biomedical Text Mining and Ontologies인용 수 6

한 줄 요약

MMP introduces unsupervised morphological and pathway prototypes to compress histology and transcriptomics tokens, enabling memory-efficient multimodal fusion with Transformer or OT cross-alignment for cancer survival prediction across six TCGA cohorts.

ABSTRACT

Multimodal survival methods combining gigapixel histology whole-slide images (WSIs) and transcriptomic profiles are particularly promising for patient prognostication and stratification. Current approaches involve tokenizing the WSIs into smaller patches (>10,000 patches) and transcriptomics into gene groups, which are then integrated using a Transformer for predicting outcomes. However, this process generates many tokens, which leads to high memory requirements for computing attention and complicates post-hoc interpretability analyses. Instead, we hypothesize that we can: (1) effectively summarize the morphological content of a WSI by condensing its constituting tokens using morphological prototypes, achieving more than 300x compression; and (2) accurately characterize cellular functions by encoding the transcriptomic profile with biological pathway prototypes, all in an unsupervised fashion. The resulting multimodal tokens are then processed by a fusion network, either with a Transformer or an optimal transport cross-alignment, which now operates with a small and fixed number of tokens without approximations. Extensive evaluation on six cancer types shows that our framework outperforms state-of-the-art methods with much less computation while unlocking new interpretability analyses.

연구 동기 및 목표

• 생존 예측을 위해 histology (WSIs)와 transcriptomics를 통합하여 예후 예측의 타당성을 제고한다.
• 프로토타입 기반 요약을 통해 토큰 차원을 감소시켜 효율적인 다중 모달 융합을 가능하게 한다.
• 컴팩트한 프로토타입 토큰에서 작동하는 통합 융합 프레임워크(Transformer 또는 OT)를 개발한다.
• 형태학적(morphological) 및 경로(pathway) 프로토타입 간의 상호 작용을 시각화하여 해석 가능성을 높인다.
• TCGA 데이터에서 다수의 암 유형에 대해 예측 성능 향상을 실증한다.

제안 방법

• Gaussian 혼합을 사용해 패치 임베딩을 군집화하여 작고 고정된 슬라이드 요약(C_h <= 32)을 생성하는 형태학적 프로토타입을 구성한다.
• Hallmark pathways(생물학적 경로)의 고정 프로토타입(C_g = 50)으로 transcriptomics를 표현한다.
• 융합 전에 학습된 프로젝션을 사용해 모달리티 간 토큰 차원을 맞춘다.
• Transformer 주의(attention) 또는 엔트로피 정규화된 Optimal Transport cross-alignment 중 하나를 사용해 모달리티를 융합하여 intra- 및 교차 모달 상호작용을 가능하게 한다.
• 융합된 환자 임베딩에서 Cox proportional hazards loss를 사용해 생존을 예측한다.
• 프로토타입 해석 가능성을 높이기 위해 프로토타입 특정 인코딩 및 프로토타입 특정 포스트-어텐션 네트워크를 선택적으로 도입한다.

Figure 1: Overview of MMP . (A) The tessellated WSI patches (tokens) are projected to low-dimensional embeddings with a pretrained patch encoder. The patch embeddings ( $N_{\text{h.}}>10^{4}$ ) are aggregated to slide summary using a small set of prototypes ( $C_{\text{h.}}<$ 32). (B) The transcript

실험 결과

연구 질문

• RQ1 형태 기반 프로토타입이 생존 예측을 위해 WSIs를 효과적으로 요약하면서 예후 정보를 손실하지 않는가?
• RQ2 경로 기반 프로토타입이 transcriptomic 데이터를 다중 모드 융합에 적합한 고정 토큰 집합으로 압축하는가?
• RQ3 프로토타입 토큰을 사용할 때 Transformer 기반 및 OT 기반 교차 모달 융합은 어떻게 비교되는가?
• RQ4 프로토타입 기반 다중 모달 융합이 다수의 암 유형에서 기존의 유니모달 및 다중 모달 베이스라인보다 성능이 우수한가?
• RQ5 프로토타입 간 상호 작용이 해석 가능한 교차 모달 예후 인사이트를 얼마나 제공하는가?

주요 결과

• MMP는 여섯 가지 TCGA 암 유형에서 거의 모든 베이스라인(단일 모달 및 다중 모달)을 능가한다.
• 프로토타입 기반의 조직학 요약은 예측력을 보존하면서 입력을 크게 압축(>300x)한다.
• 경로 프로토타입은 transcriptomics를 작고 의미 있는 표현으로 제공하고 효과적인 다중 모달 융합을 가능하게 한다.
• Transformer와 OT 교차 정렬은 비슷한 성능을 보이며 두 접근 방식 간의 연관성을 확인한다.
• MMP 변형은 프로토타입으로 구성될 때 임상 베이스라인 및 다수의 베이스라인보다 평균 일치 지수(concordance index)가 더 높다(MMP_OT 및 MMP_Trans.가 강력한 결과를 보임).
• 프로토타입 기반의 단일 모달 베이스라인(AttnMISL, unimodal MMP)은 여전히 최상위 성능 중 하나로 남아 있어 프로토타입 품질의 우수성을 강조한다.

Figure 2: Cross-modal interaction visualization . (A) A WSI for a BRCA patient. (B) The morphological prototype heatmap for $c=13$ (C13), representing invasive ductal carcinoma (IDC), based on the posterior distribution for C13. (C) Prototype assignment map showing the closest morphological prototyp