[논문 리뷰] Deep Biological Pathway Informed Pathology-Genomic Multimodal Survival Prediction

Lin Qiu, Aminollah Khormali외 1명|arXiv (Cornell University)|2023. 01. 06.

AI in cancer detection인용 수 5

한 줄 요약

PONET는 전임상 병리학적 경로를 반영한 딥러닝 모델로, 전체 슬라이드 이미지(WSIs)와 게놈 데이터를 통합하여 다중모odal 암 생존 예측을 수행한다. 계층적 융합 프레임워크와 인자 분해 이중선형 모델링, 그래프 기반 어텐션을 활용하여, 여섯 개인 TCGA 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 환자의 생존 결과와 연관된 핵심 유전자와 경로를 해석 가능한 방식으로 특정할 수 있다.

ABSTRACT

The integration of multi-modal data, such as pathological images and genomic data, is essential for understanding cancer heterogeneity and complexity for personalized treatments, as well as for enhancing survival predictions. Despite the progress made in integrating pathology and genomic data, most existing methods cannot mine the complex inter-modality relations thoroughly. Additionally, identifying explainable features from these models that govern preclinical discovery and clinical prediction is crucial for cancer diagnosis, prognosis, and therapeutic response studies. We propose PONET- a novel biological pathway-informed pathology-genomic deep model that integrates pathological images and genomic data not only to improve survival prediction but also to identify genes and pathways that cause different survival rates in patients. Empirical results on six of The Cancer Genome Atlas (TCGA) datasets show that our proposed method achieves superior predictive performance and reveals meaningful biological interpretations. The proposed method establishes insight into how to train biologically informed deep networks on multimodal biomedical data which will have general applicability for understanding diseases and predicting response and resistance to treatment.

연구 동기 및 목표

• 전체 슬라이드 이미지(WSIs)와 게놈 프로파일 간의 복잡한 다중모달 상호작용을 제한적으로 모델링하는 문제를 해결하기 위해.
• 정렬된 생물학적 경로를 통한 사전 생물학적 지식 통합을 통해 생존 예측 정확도를 향상시키기 위해.
• 환자의 생존에 영향을 주는 핵심 유전자와 경로를 특정함으로써 모델 출력의 해석 가능성을 보장하기 위해.
• WSIs 내에서 유전자 경로 활성도와 형태학적 특징 간의 공간적 연관성을 시각화하여 생물학적 통찰을 강화하기 위해.
• 기존 방법보다 성능과 해석 가능성 측면에서 뛰어나면서도 계산적으로 효율적인 다중모달 융합 아키텍처를 개발하기 위해.

제안 방법

• PONET는 병리학적 이미지, 게놈 데이터, 생물학적 경로 간의 복잡한 상호작용을 포괄적으로 포착하기 위해 순차적으로 단모달, 이모달, 삼모달 융합을 수행하는 계층적 다중모달 융합 프레임워크를 사용한다.
• 표준 크로네커乘법 기반 융합 대비 매개변수 수와 FLOP 수를 줄이기 위해 효율적인 인자 분해 이중선형 모듈을 사용하여 다중모달 상호작용을 모델링한다.
• 생물학적 경로 간 관계를 인코딩하기 위해 그래프 융합 네트워크를 적용하여 경로 인식 기반 표현 학습을 가능하게 한다.
• 모달 전용 및 다중모달 어텐션 메커니즘을 통합하여 WSIs와 게놈 프로파일에서 정보성 높은 특징을 강조한다.
• MCAT(Multimodal Co-Attention Transformer)를 활용한 공통 어텐션 메커니즘을 통해 WSI 수준의 어텐션 히트맵을 생성하고, 최상위 경로 임베딩과 정렬한다.
• 기울기 기반 시각화 지도와 상위 경로 순위를 통해 경로의 관련성을 평가하여 생존 결과와의 생물학적으로 의미 있는 연관성을 드러낸다.

실험 결과

연구 질문

• RQ1 경로 기반 딥러닝 모델을 통해 전체 슬라이드 이미지와 게놈 프로파일을 융합함으로써 생존 예측 정확도를 향상시킬 수 있는가?
• RQ2 모델은 조직병리학적 이미지와 분자 데이터 간의 복잡한 다중모달 상호작용을 얼마나 효과적으로 포착하고 활용할 수 있는가?
• RQ3 모델은 생존과 관련된 생물학적으로 의미 있는 유전자와 경로를 얼마나 잘 식별하고 해석할 수 있는가?
• RQ4 WSIs 내에서 경로 활성도의 공간적 시각화는 예후의 형태학적 결정 요인을 드러내는가?
• RQ5 제안된 계층적 융합 메커니즘은 기존의 다중모달 융합 방법 대비 효율성과 성능 측면에서 어떻게 비교되는가?

주요 결과

• PONET는 여섯 개인 TCGA 데이터셋에서 뛰어난 생존 예측 성능을 달성하였으며, 고위험군과 저위험군으로 환자를 분류할 때 log-rank p-value는 6.60e-7을 기록하였다.
• 모델은 생존과 관련된 핵심 생물학적 경로를 특정하였으며, TGF-β 수용체 신호 전달의 감소, PTEN 조절, NLRP1 인플라마좀 활성화, 비표준 NOTCH3 신호 전달 경로가 포함되었다.
• PONET는 모델 복잡도를 크게 감소시켰으며, 추론 시 약 280만 개의 매개변수와 31억 FLOPS의 연산량을 차지하여 Pathomic Fusion의 약 1.6%, GPDBN의 약 3.4% 수준이었다.
• 공통 어텐션 시각화 결과, 높은 경로 어텐션과 관련된 WSIs 내에서 명확한 공간 패턴이 관찰되었으며, 이는 예측된 사망 위험 증가와 연관되어 있어 유전자형-표현형 연관성을 시사하였다.
• PONET가 특정한 상위 유전자와 경로는 모두 종양 진행, 면역 조절, 혈관신생과 관련된 알려진 기능을 지닌 것으로 생물학적으로 타당성이 높았다.
• 계층적 융합 전략은 ARGF와 HFBSurv와 같은 기준 모델 대비 예측 성능과 모델의 해석 가능성 측면에서 모두 뛰어난 성능을 보였다.