[논문 리뷰] iMD4GC: Incomplete Multimodal Data Integration to Advance Precise Treatment Response Prediction and Survival Analysis for Gastric Cancer

Fengtao Zhou, Yingxue Xu외 12명|arXiv (Cornell University)|2024. 04. 01.

Gastric Cancer Management and Outcomes인용 수 4

한 줄 요약

이 논문은 위암(GC)에서 불완전한 다중모달 데이터 통합을 위한 새로운 프레임워크인 iMD4GC를 제안한다. 이 프레임워크는 단모달 주의, 교차모달 상호작용, 그리고 '다수에서 소수로'의 지식 정련을 결합하여 치료 반응 예측 및 생존 분석을 향상시킨다. 실생활의 대규모 위암 데이터셋에서 모달리티가 누락된 패tern을 가진 데이터에 대해 GastricRes에서 80.2% AUC, GastricSur에서 71.4% C-index를 기록하며 기존 방법들을 뛰어넘는 성능을 보였다.

ABSTRACT

Gastric cancer (GC) is a prevalent malignancy worldwide, ranking as the fifth most common cancer with over 1 million new cases and 700 thousand deaths in 2020. Locally advanced gastric cancer (LAGC) accounts for approximately two-thirds of GC diagnoses, and neoadjuvant chemotherapy (NACT) has emerged as the standard treatment for LAGC. However, the effectiveness of NACT varies significantly among patients, with a considerable subset displaying treatment resistance. Ineffective NACT not only leads to adverse effects but also misses the optimal therapeutic window, resulting in lower survival rate. However, existing multimodal learning methods assume the availability of all modalities for each patient, which does not align with the reality of clinical practice. The limited availability of modalities for each patient would cause information loss, adversely affecting predictive accuracy. In this study, we propose an incomplete multimodal data integration framework for GC (iMD4GC) to address the challenges posed by incomplete multimodal data, enabling precise response prediction and survival analysis. Specifically, iMD4GC incorporates unimodal attention layers for each modality to capture intra-modal information. Subsequently, the cross-modal interaction layers explore potential inter-modal interactions and capture complementary information across modalities, thereby enabling information compensation for missing modalities. To evaluate iMD4GC, we collected three multimodal datasets for GC study: GastricRes (698 cases) for response prediction, GastricSur (801 cases) for survival analysis, and TCGA-STAD (400 cases) for survival analysis. The scale of our datasets is significantly larger than previous studies. The iMD4GC achieved impressive performance with an 80.2% AUC on GastricRes, 71.4% C-index on GastricSur, and 66.1% C-index on TCGA-STAD, significantly surpassing other compared methods.

연구 동기 및 목표

• 모든 환자가 모든 데이터 유형(예: 영상, 병리, 유전체)을 갖추지 않는 위암(GC) 예측에서 불완전한 다중모달 데이터 문제를 해결하기 위해.
• 이질적인 치료 반응을 보이는 국소 진행성 위암(LAGC) 환자에서 신도핑화학요법(NACT) 반응 예측 및 생존 예후 정확도를 향상시키기 위해.
• 모달리티가 누락된 경우를 보완하기 위해 지식 정련과 교차모달 상호작용을 활용한 강건하고 해석 가능하며 확장 가능한 딥러닝 프레임워크를 개발하기 위해.
• 치료 반응 및 생존 예측을 위한 세 개의 대규모 실생활 다중모달 위암 데이터셋인 GastricRes(698건), GastricSur(801건), TCGA-STAD(400건)을 구축하고 공개하기 위해.

제안 방법

• iMD4GC는 임상, 방사선, 병리, 유전 정보에서 내모달 특징을 추출하고 표현하기 위해 단모달 주의 레이어를 사용한다.
• 모달리티가 누락되었을 때 정보 보완이 가능하도록 상호작용을 모델링하기 위해 교차모달 상호작용 레이어를 도입한다.
• '다수에서 소수로' 지식 정련 전략을 통해 완전한 데이터로 학습된 모델(다양한 모달리티)의 지식을 모달리티가 적은 모델로 이전하여, 불완전한 데이터에 대한 강건성을 향상시킨다.
• 모달리티별 특징 추출 및 투영 이후 공유된 200차원 임bedding을 사용하는 2층의 Transformer 아키텍처를 채택한다.
• 각 데이터셋에 맞게 조정된 하이퍼파ram터 α(특징 수준의 정련)와 β(반응 수준의 정련)를 사용하여 정련 손실을 균형 잡고 성능을 최적화한다.
• 재현 가능성을 확보하기 위해 Adam 옵timizer, 코즈인 애너일링 학습률 스케줄링, 가중치 감소, 고정된 랜덤 시드를 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 일부 모달리티가 누락된 경우에도 다중모달 딥러닝 프레임워크가 위암 환자의 NACT 반응을 효과적으로 예측할 수 있는가?
• RQ2 교차모달 상호작용과 지식 정련은 표준 융합 방법에 비해 불완전한 다중모달 데이터에서 성능을 어떻게 향상시키는가?
• RQ3 다중모달 위암 데이터에 대한 최적의 융합 전략은 무엇이며, 분류와 회귀 등의 다양한 예측 과제에서 차이가 나는가?
• RQ4 지식 정련이 위암 예후에서 낮은 데이터 또는 불완전한 데이터 환경에서 모델의 일반화 능력과 강건성을 얼마나 향상시키는가?
• RQ5 하이퍼파ram터 α와 β는 다양한 위암 데이터셋과 예측 과제에서 성능에 어떤 영향을 미치는가?

주요 결과

• iMD4GC는 GastricRes 데이터셋에서 NACT 반응 예측에 대해 80.2% AUC를 기록하여 기준 모델들을 뛰어넘는 성능을 보였다.
• GastricSur 데이터셋에서 iMD4GC는 C-index 71.4%를 기록하여 불완전한 다중모달 데이터에서 생존 예후 예측에 강력한 성능을 보였다.
• TCGA-STAD 데이터셋에서 iMD4GC는 C-index 66.1%를 기록하여 독립적이고 대규모의 위암 코hort에서 일관된 성능을 보였다.
• 제거 실험 결과, 모든 데이터셋에서 특징 연결이 가장 우수한 융합 전략임을 확인하였고, 저랭크 텐서 융합 및 Transformer를 사용한 초기 융합 전략도 강력한 잠재력을 보였다.
• 하이퍼파ram터 분석 결과, 분류 과제(예: NACT 반응)에서는 특징 수준의 정련(α)이 핵심이었고, 회귀 과제(예: 생존 분석)에서는 반응 수준의 정련(β)이 더 중요함을 확인하였다.
• 프레임워크는 내재된 해석 가능성을 보이며, 임상적 통찰을 얻기 위한 모달리티 기여도 및 의사결정 과정의 투명한 분석이 가능했다.