[논문 리뷰] A Large-scale Multimodal Study for Predicting Mortality Risk Using Minimal and Low Parameter Models and Separable Risk Assessment

Alvaro Ulloa, Marios S. Pattichis외 6명|arXiv (Cornell University)|2019. 01. 23.

Machine Learning in Healthcare참고 문헌 32인용 수 7

한 줄 요약

이 논문은 임상 데이터, 에코카디오그래피 유도 측정치(EDM), 그리고 원시 에코카디오그래피 영상 프레임을 포함한 다중모달 전자 건강 기록(EHR) 데이터를 사용하여 1년 생존율 위험을 예측하는 새로운 해석 가능한 신경망 모델을 제안한다. 특징 수준의 해석 가능성과 분리 가능한 비선형 모델링을 가능하게 함으로써, 이 모델은 다양한 모odalities에서 AUC = 0.82를 달성하였으며, XGBoost나 랜덤 포레스트와 같은 비해석 가능한 모델과 동등한 성능을 보였다. 또한 임상적으로 의미 있는 비선형 관계를 드러내었다.

ABSTRACT

The majority of biomedical studies use limited datasets that may not generalize over large heterogeneous datasets that have been collected over several decades. The current paper develops and validates several multimodal models that can predict 1-year mortality based on a massive clinical dataset. Our focus on predicting 1-year mortality can provide a sense of urgency to the patients. Using the largest dataset of its kind, the paper considers the development and validation of multimodal models based on 25,137,015 videos associated with 699,822 echocardiography studies from 316,125 patients, and 2,922,990 8-lead electrocardiogram (ECG) traces from 631,353 patients. Our models allow us to assess the contribution of individual factors and modalities to the overall risk. Our approach allows us to develop extremely low-parameter models that use optimized feature selection based on feature importance. Based on available clinical information, we construct a family of models that are made available in the DISIML package. Overall, performance ranges from an AUC of 0.72 with just ten parameters to an AUC of 0.89 with under 105k for the full multimodal model. The proposed approach represents a modular neural network framework that can provide insights into global risk trends and guide therapies for reducing mortality risk.

연구 동기 및 목표

• 임상 데이터, 에코카디오그래피 유도 측정치(EDM), 원시 영상 프레임을 포함한 다중모달 EHR 데이터를 사용하여 1년 생존율 위험을 예측하는 해석 가능한 기계학습 모델을 개발하는 것.
• 기존 선형 모델과 비해석 가능한 딥러닝의 한계를 극복하기 위해, 다른 요소들이 일정하다고 가정할 때 각 개별 요소가 전체 위험에 기여하는 방식을 시각화할 수 있도록 하는 것.
• 해석 가능한 모델링이 높은 예측 성능(AUC ≈ 0.82)을 유지하면서도 환자 특징과 생존율 위험 간 임상적으로 관련성이 있는 비선형 관계를 드러낼 수 있음을 입증하는 것.
• 특히 GDPR에 따라 요구되는 모델의 해석 가능성에 부응하기 위해, 위험 예측에 대한 투명하고 특징 수준의 설명을 제공함으로써 임상적 및 규제적 요구를 충족시키는 것.
• 이전에 이러한 해석 가능성의 결여로 어려움을 겪었던 의료 영상 및 영상 자료와 같은 복잡하고 이질적인 EHR 모달리티로 해석 가능한 모델링을 확장하는 것.

제안 방법

• 모델은 각 모달리티(임상 데이터, EDM, 원시 영상)와 개별 특징의 기여도를 독립적으로 분해하는 분리 가능하고 비선형적인 프레임워크를 사용하여 특징 수준의 해석 가능성을 달성한다.
• 해석 가능성의 모호성을 제거하고 특징 기여도 맵핑의 명확성을 향상시키기 위해 비음성 제약 조건을 적용한다.
• 딥러닝을 활용해 에코카디오그래피 영상에서 특징을 추출하고(예: 컨볼루션 레이어를 통해), 이를 테이블 기반 EHR 특징과 통합된 해석 가능한 아키텍처에 통합한다.
• 비선형의 가산적 구조를 사용하여, 다른 모든 입력을 일정하게 유지한 상태에서 각 입력 요소가 예측된 위험에 미치는 경계 효과를 시각화함으로써 해석 가능성을 확보한다.
• 기울기 기반 및 활성화 기반의 시각화 기법을 조합하여, 예를 들어 심장 수축기 혈액량이나 심장 수축기 부피와 같은 개별 특징의 변화가 예측된 생존율 위험에 어떤 영향을 미치는지 맵핑한다.
• 성능 평가는 다수의 모델 변형에 대해 AUC로 평가되며, 임상 데이터만 사용한 경우(CD), CD + EDM, CD + EDM + 원시 영상의 조합을 포함하고, XGBoost 및 랜덤 포레스트와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 다중모달, 해석 가능한 신경망 모델이 XGBoost나 랜덤 포레스트와 같은 비해석 가능한 모델과 동등한 성능으로 1년 생존율 위험을 예측할 수 있는가?
• RQ2 모델은 다른 요소들이 일정하다고 가정할 때 각 임상 및 영상 유도 요소의 기여도를 전체 생존율 위험에 대해 시각화할 수 있는가?
• RQ3 원시 에코카디오그래피 영상 데이터의 포함이 임상 및 유도 측정치를 초과하여 예측 성능을 유의미하게 향상시키는가?
• RQ4 이 프레임워크를 통해 심장 수축기 혈액량이나 심장 수축기 부피와 같은 핵심 임상 특징과 생존율 위험 간의 비선형 관계가 정확하게 포착되고 해석 가능한가?
• RQ5 이 모델은 예를 들어 매우 낮거나 매우 높은 심장 수축기 혈액량 값에서 위험이 증가하는 경향을 드러내어 임상적 타당성 있는 경향을 보여줄 수 있는가?

주요 결과

• 해석 가능한 다중모달 모델은 모든 모달리티(CD+EDM+영상)에서 평균 AUC 0.82를 달성하였으며, XGBoost나 랜덤 포레스트와 같은 비해석 가능한 모델과 동등한 성능을 보였다.
• 임상 데이터만 사용한 경우(AUC = 0.78)에서 CD+EDM로 전환할 때 AUC가 유의미하게 증가(AUC = 0.82)하여, 에코카디오그래피 유도 측정치가 예측 성능을 향상시킨다는 것을 입증하였다.
• CD+EDM 모델과 CD+EDM+원시 영상 모델 간에 유의미한 AUC 차이가 없었으며, 이는 이 설정에서 원시 영상 데이터가 EDM 이외의 추가 성능 향상 기여를 하지 않았음을 시사한다.
• 모델은 비선형적이면서도 임상적으로 타당한 경향을 성공적으로 시각화하였다. 예를 들어, 심장 수축기 혈액량(EF)에 대해 U자형의 위험 곡선을 드러내었으며, 이는 EF ≤10%와 EF ≥85%에서 위험 최고점이 나타남을 보여주었다. 또한 좌심실 수축기 부피가 증가할수록 위험이 단조적으로 증가하는 경향도 확인하였다.
• 높은 심장 수축기 혈액량(≥85%)은 위험을 56% 증가시킨다고 밝혀졌으며, 이는 과도한 심장 기능 상태 또는 미트랄 역행성 또는 농축성 비대와 같은 병리학적 상태를 반영할 수 있다.
• 비선형 모델에서 이전에는 불가능했던 특징 수준의 해석 가능성을 실현하였으며, 다른 요소들을 일정하게 유지한 상태에서 각 요소가 위험에 미치는 경계 효과를 이해할 수 있도록 해주었다.