[논문 리뷰] Multimodal Fusion of Echocardiography and Electronic Health Records for the Detection of Cardiac Amyloidosis

Zishun Feng, Joseph A. Sivak외 1명|arXiv (Cornell University)|2024. 04. 17.

Amyloidosis: Diagnosis, Treatment, OutcomesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 연구는 파라스테널 장축 및 심첨 4채널 에코카디오그래피 영상과 전자적 건강기록(EHR) 데이터—연령, 성별, 검사 결과, 심장 지표 등—를 통합하는 트랜스포머 기반 다중모달 융합 모델을 제안한다. 이 모델은 41명의 환자로 구성된 소규모 데이터셋에서 AUROC 0.94를 달성하여, 단일 모달리티나 더 큰 데이터 기반 영상 전용 접근 방식보다 뛰어난 진단 성능을 보이며, 극소수의 데이터로도 높은 성능을 달성할 수 있음을 입증한다.

ABSTRACT

Cardiac amyloidosis, a rare and highly morbid condition, presents significant challenges for detection through echocardiography. Recently, there has been a surge in proposing machine-learning algorithms to identify cardiac amyloidosis, with the majority being imaging-based deep-learning approaches that require extensive data. In this study, we introduce a novel transformer-based multimodal fusion algorithm that leverages information from both imaging and electronic health records. Specifically, our approach utilizes echocardiography videos from both the parasternal long-axis (PLAX) view and the apical 4-chamber (A4C) view along with patients' demographic data, laboratory tests, and cardiac metrics to predict the probability of cardiac amyloidosis. We evaluated our method using 5-fold cross-validation on a dataset comprising 41 patients and achieved an Area Under the Receiver Operating Characteristic curve (AUROC) of 0.94. The experimental results demonstrate that our approach can achieve competitive results with a significantly smaller dataset compared to prior imaging-based methods that required data from thousands of patients. This underscores the potential of leveraging multimodal data to enhance diagnostic accuracy in the identification of complex cardiac conditions such as cardiac amyloidosis.

연구 동기 및 목표

• 전문가 해석이 제한된 임상 환경에서 희귀하고 잘 진단되지 않는 심장 아밀로이드증을 탐지하는 데 도전하는 것.
• 영상 데이터 외에도 에코카디오그래피와 구조화된 EHR 데이터를 통합함으로써 진단 정확도를 향상시키는 것.
• 딥 러닝을 활용한 다중모달 융합이 소규모 데이터셋에서도 높은 성능을 달성할 수 있는지 평가하는 것.
• 심장 아밀로이드증 예측에 가장 유용한 특징들을 영상 및 EHR 모달리티에서 식별하는 것.

제안 방법

• 트랜스포머 기반 중간 융합 모델이 PLAX 및 A4C 두 가지 에코카디오그래피 시각화 영상과 EHR 데이터를 공통 잠재 공간에서 특징 임bedding을 통합한다.
• 에코카디오그래피 특징은 영상 시퀀스에서 3D 컨volution 신경망을 통해 추출된 후 시간적 풀링을 거친다.
• EHR 특징은 연령, 심장 지표, 검사 결과 데이터의 조기 융합 후 학습된 투영 레이어를 통해 임베딩된다.
• 모델은 다중 헤드 자기주의 메커니즘을 사용하여 각 모달리티 및 구성 요소의 기여도를 동적으로 가중한다.
• 성능 평가는 AUROC를 주요 지표로 5겹 교차검증을 통해 수행된다.
• 제거 실험과 주의력 시각화를 통해 특징 중요도와 모델의 해석 가능성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 에코카디오그래피와 EHR 데이터의 다중모달 융합이 단일 모달리티 모델보다 심장 아밀로이드증 탐지 성능을 향상시킬 수 있는가?
• RQ2 이 작업에서 영상 및 EHR 데이터를 융합할 때 중간 융합이 후기 융합보다 더 우수한가?
• RQ3 EHR의 어떤 구성 요소(연령, 검사 결과, 심장 지표)가 예측 성능에 가장 기여하는가?
• RQ4 41명의 환자로 구성된 소규모 데이터셋이 더 큰 영상 전용 모델과 비교해도 경쟁력 있는 성능을 낼 수 있는가?
• RQ5 모델의 주의력 메커니즘이 심장 아밀로이드증 예측에 가장 예측 가능한 특징은 무엇인가?

주요 결과

• 제안된 다중모달 중간 융합 모델은 41명의 환자(17명의 사례, 24명의 대조군) 데이터셋에서 AUROC 0.94를 달성하여 단일 모달리티 모델보다 유의미하게 뛰어난 성능을 보였다.
• 모델의 성능는 2,828명의 환자로 훈련된 3D CNN 모델(AUROC 0.96)과 비교해도 41명의 환자로만 훈련했을 때도 뛰어나 데이터 효율성을 입증했다.
• 검사 결과 데이터가 EHR 성능에 가장 큰 기여를 하였으며, BNP 및 소변 단백질 수치가 가장 중요한 개별 특징으로 나타났다.
• 전반적으로 영상 데이터가 EHR 데이터보다 더 높은 기여도를 보였으며, PLAX 및 A4C 시각화 영상 둘 다 거의 동일한 중요도를 가졌다.
• 제거 실험 결과, 검사 결과 데이터를 제거할 경우 성능 저하가 가장 심했고, 연령 및 생명 징후 데이터는 기여도가 가장 낮았다.
• 주의력 시각화 결과, 모델이 벽 두께, 심정출률, BNP 수치와 같은 임상적으로 유의미한 특징을 더 중요하게 평가하는 것을 확인했다.