[논문 리뷰] Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction

Guillaume Jaume, Anurag Vaidya외 4명|arXiv (Cornell University)|2023. 04. 13.

Cancer-related molecular mechanisms research인용 수 9

한 줄 요약

SurvPath는 전사체로부터 경로 기반 토큰을, WSIs의 조직학 패치 토큰을 학습하고 이를 메모리 효율적인 트랜스포머와 융합해 TCGA 데이터에서 질병 특이적 생존을 예측하고 다중 모달 해석 가능성을 제공한다.

ABSTRACT

Integrating whole-slide images (WSIs) and bulk transcriptomics for predicting patient survival can improve our understanding of patient prognosis. However, this multimodal task is particularly challenging due to the different nature of these data: WSIs represent a very high-dimensional spatial description of a tumor, while bulk transcriptomics represent a global description of gene expression levels within that tumor. In this context, our work aims to address two key challenges: (1) how can we tokenize transcriptomics in a semantically meaningful and interpretable way?, and (2) how can we capture dense multimodal interactions between these two modalities? Specifically, we propose to learn biological pathway tokens from transcriptomics that can encode specific cellular functions. Together with histology patch tokens that encode the different morphological patterns in the WSI, we argue that they form appropriate reasoning units for downstream interpretability analyses. We propose fusing both modalities using a memory-efficient multimodal Transformer that can model interactions between pathway and histology patch tokens. Our proposed model, SURVPATH, achieves state-of-the-art performance when evaluated against both unimodal and multimodal baselines on five datasets from The Cancer Genome Atlas. Our interpretability framework identifies key multimodal prognostic factors, and, as such, can provide valuable insights into the interaction between genotype and phenotype, enabling a deeper understanding of the underlying biological mechanisms at play. We make our code public at: https://github.com/ajv012/SurvPath.

연구 동기 및 목표

• 대환자 생존 예측 성능을 높이기 위해 bulk 전사체와 전체 슬라이드 이미지(WSIs)의 통합 필요성 제시.
• End-to-end 학습을 위한 생물학적 경로를 기반으로 한 의미론적으로 의미 있는 전사체 토크나이저 제안.
• 밀도 높은 경로–패치 상호 작용을 모델링하기 위한 메모리 효율적 트랜스포머 융합 개발.
• 단일 모드 및 교차 모달 요인들을 밝히는 다층 해석 가능성 프레임워크 제공.
• 다섯 개의 TCGA 데이터셋에서 단일 모드 및 기타 다중 모달 기준선과 비교해 최첨단 성능 시연

제안 방법

• 유전 발현을 생물학적 경로 표현으로 희소 MLp 매핑을 사용해 전사체를 생물학적 경로 토큰으로 토큰화한다.
• 사전 학습된 Swin Transformer를 사용해 WSIs에서 조직학 패치 토큰을 추출하고 공통 토큰 차원으로 投影한다.
• 경로 토큰과 패치 토큰을 메모리 효율적 트랜스포머로 융합하되 경로–경로, 경로–패치, 패치–경로 상호 작용은 분리하고 패치–패치 상호 작용은 무시한다.
• 음의 로그 우도 생존 손실을 통한 차분 시간 경합 모델로 생존 예측(검열 하의)
• 경로/유전자에 대한 Integrated Gradients와 교차 모달 상호 작용(pathway↔patch)에 대한 Transformer 주의 집중을 활용한 해석 가능성 프레임워크를 제공

실험 결과

연구 질문

• RQ1 경로 기반 토크나이저가 다중 모달 예후 예측에 의미 있는 세포 과정들을 포착할 수 있는가?
• RQ2 메모리 효율적 트랜스포머 모델이 경로 토큰과 조직학 패치 토큰 간의 밀도 높은 상호 작용을 모델링해 생존 예측을 개선할 수 있는가?
• RQ3 생존 분석에서 경로와 패치 토큰의 조기 융합이 후기 융합 벤치마크를 능가하는가?
• RQ4 모델의 주의 집중 및 기여도 분석으로 어떤 단일 모드 및 교차 모달 예후 정보를 얻을 수 있는가?

주요 결과

• SurvPath는 단일 모드 및 다중 모달 벤치마크와 비교했을 때 다섯 개 TCGA 데이터세트에서 최첨단 일치도(c-index) 성능을 달성한다.
• 경로 기반 전사체 토큰(331개 경로)은 예후와 해상 특징이 일치하는 의미 있는 학습 가능 단위를 제공한다.
• 메모리 효율적 주의 메커니즘은 경로–패치 및 경로–경로 상호 작용을 대규모로도 메모리 비용을 크게 증가시키지 않고 모델링 가능하게 한다.
• 조기 융합이 생존 예측에서 여러 기초 융합 전략보다 우수한 성능을 보였다.
• 해석 가능성 분석은 다중 모달 예후 요인과 특정 경로가 형태학적 패턴과 어떻게 상호 작용하는지를 제시한다.