[논문 리뷰] Cross-Modal Translation and Alignment for Survival Analysis

Fengtao Zhou, Hao Chen|arXiv (Cornell University)|2023. 09. 22.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 병리 영상과 게놈 프로파일에서 동시에 학습할 수 있도록 병렬 인코더-디코더 구조와 상호작용 주의 모듈을 활용하여 내모odal 표현을 보강하는, 새로운 프레임워크인 크로스모달 번역 및 정렬(CMTA)을 제안한다. CMTA는 하나의 모odal을 감독으로 삼지 않고도 크로스모달 상관관계를 효과적으로 포착하고 상보적인 정보를 전달함으로써, 다섯 개인 TCGA 데이터셋에서 최신 기술을 초월하는 성능을 기록한다.

ABSTRACT

With the rapid advances in high-throughput sequencing technologies, the focus of survival analysis has shifted from examining clinical indicators to incorporating genomic profiles with pathological images. However, existing methods either directly adopt a straightforward fusion of pathological features and genomic profiles for survival prediction, or take genomic profiles as guidance to integrate the features of pathological images. The former would overlook intrinsic cross-modal correlations. The latter would discard pathological information irrelevant to gene expression. To address these issues, we present a Cross-Modal Translation and Alignment (CMTA) framework to explore the intrinsic cross-modal correlations and transfer potential complementary information. Specifically, we construct two parallel encoder-decoder structures for multi-modal data to integrate intra-modal information and generate cross-modal representation. Taking the generated cross-modal representation to enhance and recalibrate intra-modal representation can significantly improve its discrimination for comprehensive survival analysis. To explore the intrinsic crossmodal correlations, we further design a cross-modal attention module as the information bridge between different modalities to perform cross-modal interactions and transfer complementary information. Our extensive experiments on five public TCGA datasets demonstrate that our proposed framework outperforms the state-of-the-art methods.

연구 동기 및 목표

• 기존 생존 분석 방법의 한계를 해결하기 위해, 크로스모달 상관관계를 간과하거나 하나의 모달을 감독으로 삼는 방법을 피하고자 한다.
• 한 모달이 덜 구분력이 있을 경우에도 병리 영상과 게놈 프로파일 양쪽에서 상보적인 정보를 유지하고 활용하고자 한다.
• 서로 정렬된 크로스모달 표현을 통해 내모달 표현을 향상시킴으로써 생존 예측 정확도를 향상시키고자 한다.
• 고품질 병리 특징이 저품질 게놈 가이던스에 의해 오염되는 것을 방지하기 위해 강건하고 대칭적인 다모달 학습 프레임워크를 개발하고자 한다.

제안 방법

• 병리 영상과 게놈 프로파일에서 각각 독립적으로 내모달 표현을 추출하기 위해 두 개의 병렬 인코더-디코더 네트워크를 사용한다.
• 상호작용과 모달 간 상보적 특징 전달을 모델링하기 위해 크로스모달 주의를 도입한다.
• 크로스모달 표현을 사용하여 원래의 내모달 특징을 재보정하고 강화함으로써 그들의 구분 능력을 향상시킨다.
• 크로스모달 표현이 해당 내모달 표현과 가까워지도록 보장하기 위해 정렬 손실 $\mathcal{L}_{sim}$ 이 적용되며, 이는 모달 특유의 의미를 유지한다.
• 기울기 누출을 방지하고 중복된 공유 특징을 학습하는 것을 피하기 위해 손실 계산 중에 탈출 연산을 적용한다.
• TransMIL 기반 아키텍처에서 이미지 패치 간 공간 관계를 모델링하기 위해 PPEG 모듈을 사용한다.

실험 결과

연구 질문

• RQ1 대칭적이고 주의 기반의 크로스모달 프레임워크는 기존의 융합 또는 주의 지도 기반 방법을 뛰어넘어 생존 예측을 향상시킬 수 있는가?
• RQ2 크로스모달 정렬은 다모달 생존 분석에서 내모달 표현의 구분 능력에 어떤 영향을 미치는가?
• RQ3 다양한 유사도 측정 방법(예: L1, MSE, 코사인)이 크로스모달 표현 학습에 어떤 영향을 미치는가?
• RQ4 크로스모달 주의 및 PPEG와 같은 아키텍처 구성 요소가 모델 성능에 기여하는 방식은 무엇인가?
• RQ5 정렬 제약 조건이나 탈출 연산을 제거하면 모델 성능이 상당히 떨어지는가?

주요 결과

• CMTA는 다섯 개인 TCGA 데이터셋에서 최신 기술을 초월하는 성능을 기록하며 생존 예측에서 뛰어난 성능을 보였다.
• L1 노름이 대부분의 데이터셋에서 가장 우수한 성능을 보였으며, GBMLGG를 제외한 모든 경우에서 일관되게 우수한 결과를 기록했다.
• 크로스모달 주의 모듈을 제거하면 LUAD에서 최대 4.93%의 성능 저하가 발생하여, 이 모듈이 특징 상호작용에 핵심적인 역할을 한다는 것을 시사한다.
• 정렬 제약 조건 $\mathcal{L}_{sim}$ 을 제거하면 BRCA에서 3.75%의 성능 저하가 발생하여, 표현 품질을 유지하는 데 중요한 역할을 한다는 것을 보여준다.
• 탈출 연산을 제거하면 BLCA에서 9.08%의 성능 저하가 발생하여, 이는 모델이 중복된 특징을 학습하는 것을 방지하고 효과적인 최적화를 유지하는 데 기여한다는 것을 입증한다.
• PPEG 모듈은 상당한 기여를 하였으며, UCEC에서 제거할 경우 3.16%의 성능 저하가 발생하여, 전체 슬라이드 영상에서 공간적 맥락을 모델링하는 데 핵심적인 역할을 한다는 것을 확인하였다.