[논문 리뷰] Improving Medical Predictions by Irregular Multimodal Electronic Health Records Modeling

Xinlu Zhang, Shiyang Li외 3명|arXiv (Cornell University)|2022. 10. 18.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 집중 치료실의 비정규 다중 모odal 전자 의무기록(EHR)을 통합된 프레임워크로 모델링하기 위한 새로운 접근법을 제안한다. 시간 시리즈에 대한 게이팅 메커니즘과 임상 노트에 대한 시간 주의력 메커니즘을 통해 다변량 시간 시리즈와 임상 노트의 비정규성 문제를 동시에 다루며, 이후 이종 다중 모달 융합을 수행한다. 이 방법은 시간 시리즈, 임상 노트, 다중 모달 융합 작업 각각에서 상대 F1 점수 향상률이 6.5%, 3.6%, 4.3%에 달하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Health conditions among patients in intensive care units (ICUs) are monitored via electronic health records (EHRs), composed of numerical time series and lengthy clinical note sequences, both taken at irregular time intervals. Dealing with such irregularity in every modality, and integrating irregularity into multimodal representations to improve medical predictions, is a challenging problem. Our method first addresses irregularity in each single modality by (1) modeling irregular time series by dynamically incorporating hand-crafted imputation embeddings into learned interpolation embeddings via a gating mechanism, and (2) casting a series of clinical note representations as multivariate irregular time series and tackling irregularity via a time attention mechanism. We further integrate irregularity in multimodal fusion with an interleaved attention mechanism across temporal steps. To the best of our knowledge, this is the first work to thoroughly model irregularity in multimodalities for improving medical predictions. Our proposed methods for two medical prediction tasks consistently outperforms state-of-the-art (SOTA) baselines in each single modality and multimodal fusion scenarios. Specifically, we observe relative improvements of 6.5\%, 3.6\%, and 4.3\% in F1 for time series, clinical notes, and multimodal fusion, respectively. These results demonstrate the effectiveness of our methods and the importance of considering irregularity in multimodal EHRs.

연구 동기 및 목표

• 집중 치료실 EHR 내 다변량 시간 시리즈와 임상 노트에서 발생하는 비정규 샘플링 문제를 해결하기 위해.
• 다양한 모달리티에서 유래한 비정규 시간 패턴을 통합된 다중 모달 표현으로 통합하여 의료 예측 성능을 향상시키기 위해.
• 기존 방법들이 임상 노트의 비정규성이나 다중 모달 융합에서의 비정규성 무시하는 한계를 극복하기 위해.
• 모든 모달리티에서 동시에 비정규성을 모델링하는 통합 시스템을 개발하여 예측의 강인성과 정확도를 향상시키기 위해.
• 게이팅 메커니즘을 통해 다양한 시간 시리즈 임베딩 방법을 동적으로 융합하는 것이 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 비정규 시간 시리즈를 위한 새로운 게이팅 메커니즘인 UTDE는 수작업으로 만든 보간 임베딩과 학습된 보간 임베딩을 동적으로 융합한다.
• 임상 노트는 사전 학습된 언어 모델을 통해 임베딩되며, 다변량 비정규 시간 시리즈로 간주하고, 시간 주의력 메커니즘(mTAND)을 통해 노트 표현 내 비정규 시간 패턴을 모델링한다.
• 다중 모달 융합 전략은 시간 단계 간의 교차 및 자기 주의력 레이어를 번갈아가며 사용하여 표현을 통합하면서도 비정규 시간 구조를 유지한다.
• UTDE 내에서 다양한 TDE 방법(예: 보간 및 학습된 보간)을 상호 보완적인 서브모듈로 활용하며, 게이트 메커니즘이 환자별 최적의 융합 가중치를 학습한다.
• 프레임워크는 MIMIC-III 데이터를 기반으로 사망률 및 표현형 예측 작업을 위해 엔드 투 엔드로 훈련된다.
• 다양한 백본(LSTM, CNN)과 입력 시퀀스 길이를 활용하여 강인성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 다중 모달 EHR 내 다변량 시간 시리즈와 임상 노트의 비정규성 문제를 효과적으로 모델링할 수 있는가?
• RQ2 게이팅 메커니즘을 통해 다양한 시간 시리즈 임베딩 방법을 동적으로 융합하는 것이 단일 방법 사용 대비 성능 향상에 기여하는가?
• RQ3 간단한 연결 방식을 넘어서 임상 노트의 비정규성까지 모델링할 경우, 다중 모달 예측 정확도는 어느 정도 향상되는가?
• RQ4 다중 모달 융합에서 시간 단계 간의 교차 주의력은 비정규 시간 패턴 통합에 어떻게 기여하는가?
• RQ5 제안된 방법은 임상 노트의 시간 시리즈 인코더와 입력 시퀀스 길이에 관계없이 강인한가?

주요 결과

• 제안된 UTDE 모듈은 시간 시리즈 예측 작업에서 최고의 베이스라인 대비 상대 F1 점수 6.5% 향상률을 달성했다.
• mTAND 기반 시간 주의력 메커니즘은 비정규성 무시 베이스라인 대비 임상 노트 예측에서 F1 점수 3.6% 향상되었다.
• UTDE와 mTAND를 통합한 다중 모달 융합 모델은 상대 F1 점수 4.3% 향상으로, 다양한 모달리티에서의 비정규성 모델링의 유용성을 입증했다.
• 절단 실험을 통해 UTDE나 mTAND를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 두 모달리티에서 비정규성 모델링의 필요성을 입증했다.
• LSTM, CNN 등 다양한 시간 시리즈 인코더에서 일관되게 베이스라인을 초월하는 성능을 보이며 일반화 능력과 강인성을 입증했다.
• 임상 노트의 최대 입력 시퀀스 길이를 늘릴수록 모든 지표에서 성능 향상이 관찰되어, 장기적 맥락 모델링이 다중 모달 융합에서 중요한 가치를 지닌다는 점을 강조했다.