[논문 리뷰] SurvMamba: State Space Model with Multi-grained Multi-modal Interaction for Survival Prediction

Ying Chen, Jiajing Xie외 4명|arXiv (Cornell University)|2024. 04. 11.

Cancer-related molecular mechanisms researchBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 전체 슬라이드 이미지(WSIs)와 전사체 데이터로부터 다중 해상도 계층적 표현을 활용하여 생존 예측 성능을 향상시키는 상태공간 모델인 SurvMamba를 제안한다. 내모odal 모델링을 위한 계층적 상호작용 Mamba(HIM)와 연속적인 외모간 상호작용을 위한 상호작용 융합 Mamba(IFM)를 통합함으로써, 다섯 개인 TCGA 데이터셋에서 최고 성능을 기록하며 더 낮은 계산 비용을 구현하였다. c-index는 0.717을 달성하였다.

ABSTRACT

Multi-modal learning that combines pathological images with genomic data has significantly enhanced the accuracy of survival prediction. Nevertheless, existing methods have not fully utilized the inherent hierarchical structure within both whole slide images (WSIs) and transcriptomic data, from which better intra-modal representations and inter-modal integration could be derived. Moreover, many existing studies attempt to improve multi-modal representations through attention mechanisms, which inevitably lead to high complexity when processing high-dimensional WSIs and transcriptomic data. Recently, a structured state space model named Mamba emerged as a promising approach for its superior performance in modeling long sequences with low complexity. In this study, we propose Mamba with multi-grained multi-modal interaction (SurvMamba) for survival prediction. SurvMamba is implemented with a Hierarchical Interaction Mamba (HIM) module that facilitates efficient intra-modal interactions at different granularities, thereby capturing more detailed local features as well as rich global representations. In addition, an Interaction Fusion Mamba (IFM) module is used for cascaded inter-modal interactive fusion, yielding more comprehensive features for survival prediction. Comprehensive evaluations on five TCGA datasets demonstrate that SurvMamba outperforms other existing methods in terms of performance and computational cost.

연구 동기 및 목표

• 전체 슬라이드 이미지(WSIs)와 전사체 데이터에서 계층적 구조의 잠재적 활용이 생존 예측에 미치지 못하고 있는 문제를 해결하기 위해.
• 고차원 데이터에서 주로 사용되는 주목적 메커니즘을 적용할 경우 계산 복잡도를 줄이기 위해.
• 다중 해상도 특징 상호작용을 활용하여 내모달 표현 학습과 외모간 융합을 향상시키기 위해.
• 다양한 모달리티 임상 데이터에서 장거리 의존성을 효과적으로 포착할 수 있는 확장성 있고 효율적인 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 세분화된(패치/유전자군) 및 거시적(영역/생물학적 과정) 수준 간 효율적인 내모달 특징 상호작용을 가능하게 하는 계층적 상호작용 Mamba(HIM) 모듈을 제안한다.
• 순차적 의존성을 양방향으로 모델링하기 위해 이중 방향 Mamba 아키텍처를 활용하여 표현 학습 성능을 향상시킨다.
• WSI와 전사체 데이터 특징 간 계층적이고 다단계적인 외모간 융합을 수행하기 위해 상호작용 융합 Mamba(IFM) 모듈을 도입한다.
• 선별적 구조화된 상태공간 메커니즘(Mamba)을 사용하여 선형 복잡도로 장거리 시퀀스를 모델링함으로써 주목적 메커니즘을 대체하여 계산 비용을 절감한다.
• WSI와 전사체 데이터를 '백'으로 간주하여 인스턴스(패치/유전자군)의 집합으로 간주함으로써 다중 인스턴스 학습을 가능하게 하는 백-오브-피처 파라다임을 적용한다.
• 이중 방향 Mamba 블록을 후기 융합 전략과 통합하여 단모달 특징를 사전에 개선한 후 생존 결과 예측을 위한 연결(concatenation)을 수행한다.

실험 결과

연구 질문

• RQ1 WSI와 전사체 데이터의 계층적 구조에 대한 다중 해상도 모델링이 생존 예측 성능 향상에 기여하는가?
• RQ2 주목적 메커니즘을 Mamba 기반 아키텍처로 대체할 경우 계산 비용은 감소하면서도 예측 성능는 유지 또는 향상되는가?
• RQ3 다양한 해상도 수준에서의 연속적 외모간 상호작용은 다중 모달 표현 학습을 얼마나 효과적으로 향상시키는가?
• RQ4 상태공간 프레임워크 내에서 이중 방향 모델링은 단방향 또는 비재귀적 접근 방식에 비해 예후 예측 성능 향상에 얼마나 기여하는가?

주요 결과

• SurvMamba는 다섯 개인 TCGA 암 데이터셋에서 c-index 0.717을 기록하여 기존 최고 수준의 방법들보다 뛰어난 예측 성능와 계산 효율성을 동시에 확보하였다.
• 제거 분석 결과, HIM 모듈에 거시적 특징을 통합함으로써 c-index가 세분화된 특징만 사용했을 때의 0.689에서 0.695로 상승하여 계층적 모델링의 가치를 입증하였다.
• 세분화된 특징에 대해 IFM를 적용하면 c-index가 0.701로 향상되었고, 거시적 특징에 대해 적용했을 땐 0.689로 나타나 다중 해상도 외모간 융합의 효과성을 확인하였다.
• SurvMamba의 이중 방향 설계는 특히 BRCA에서 박스플롯의 겹침이 최소화된 상황에서 예측의 견고성을 크게 향상시켰으며, 중앙값 c-index는 높고 interquartile 범위는 좁았다.
• 카프만-마이어 생존 곡선은 다섯 TCGA 데이터셋 전반에서 저위험군과 고위험군 간 명확한 분리가 이루어졌고, p-value < 0.05로 통계적으로 유의미한 예후 능력을 보였다.
• 주목적 기반 방법에 비해 낮은 복잡도를 보이며 계산 효율성이 검증되었고, 이는 대규모 임상 적용에 적합함을 시사한다.