[논문 리뷰] Integrating Physiological Time Series and Clinical Notes with Deep Learning for Improved ICU Mortality Prediction

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|2020. 03. 24.

Machine Learning in Healthcare참고 문헌 28인용 수 7

한 줄 요약

이 논문은 임상 노트와 ICU EHR에서 얻은 비정규적으로 샘플링된 생리학적 시계열 데이터를 후기 융합(early fusion) 딥러닝 모델을 통해 통합하여 입원 중 사망 예측 성능을 향상시키는 것을 제안한다. 보간-예측 네트워크와 TF-IDF 또는 워드 임베딩 기반의 텍스트 표현 방식을 사용하여, 후기 융합 기법이 단일 모odal 모델보다 유의미하게 뛰어난 성능을 보임을 입증하였으며, 통계적으로 유의미한 AUC 향상( p < 0.001)을 보였다.

ABSTRACT

Intensive Care Unit Electronic Health Records (ICU EHRs) store multimodal data about patients including clinical notes, sparse and irregularly sampled physiological time series, lab results, and more. To date, most methods designed to learn predictive models from ICU EHR data have focused on a single modality. In this paper, we leverage the recently proposed interpolation-prediction deep learning architecture(Shukla and Marlin 2019) as a basis for exploring how physiological time series data and clinical notes can be integrated into a unified mortality prediction model. We study both early and late fusion approaches and demonstrate how the relative predictive value of clinical text and physiological data change over time. Our results show that a late fusion approach can provide a statistically significant improvement in mortality prediction performance over using individual modalities in isolation.

연구 동기 및 목표

• 임상 노트와 생리학적 시계열 데이터가 어떻게 함께 활용되어 ICU 사망 예측 성능을 향상시킬 수 있는지 조사하기 위해.
• 입원 후 시간이 지남에 따라 임상 텍스트와 생리학적 데이터의 상대적 예측 가치 변화를 분석하기 위해.
• 다중 모달 ICU EHR 데이터에 대한 초기 융합 대비 후기 융합 전략을 평가하기 위해.
• 입원 시간 이후의 진행 노트를 포함시키는 것이 예측 성능 향상에 기여하는지 확인하기 위해.
• 재표본화 및 가설 검정을 통해 융합 모델의 성능 향상이 기준 모델 대비 통계적으로 유의미한지 검증하기 위해.

제안 방법

• 희소하고 비정규적으로 샘플링된 생리학적 시계열 데이터를 모델링하기 위해 보간-예측 딥러닝 아키텍처를 활용한다.
• TF-IDF, Bag-of-Words, GloVe 임베딩, 및 단어 벡터 평균을 통한 문장 수준 임베딩을 사용하여 임상 노트를 표현한다.
• 최종 예측 이전에 텍스트 및 시계열 표현을 연결하여 초기 융합을 적용하고, 별도의 모odal 헤드에서 예측을 융합하여 후기 융합을 적용한다.
• 순차적 임상 텍스트 및 시계열 데이터를 처리하기 위해 순환 신경망(LSTM)과 1D 컨볼루션 신경망을 사용한다.
• 워드 임베딩 기법(예: GloVe)과 토픽 모델링을 적용하여 비정형 임상 노트에서 의미적 특징을 추출한다.
• 정규화된 훈련-검증-테스트 분할을 포함한 5겹 교차 검증을 수행하여 강건한 평가 및 통계적 유의성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 ICU 입원 초기 48시간 동안, 입원 시점의 임상 노트 예측 가치가 생리학적 시계열 데이터 예측 가치와 비교하여 어떻게 다를까?
• RQ2 임상 노트와 생리학적 시계열 데이터를 후기 융합하면 초기 융합 또는 단일 모달 모델 대비 더 나은 사망 예측 성능을 내는가?
• RQ3 입원 이후의 진행 노트를 포함시키는 것이 입원 노트만 사용하는 모델 대비 성능에 어떤 영향을 미치는가?
• RQ4 융합 모델의 성능 향상이 개별 모달 기준 모델 대비 통계적으로 유의미한가?
• RQ5 시간이 지남에 따라 각 모달의 예측 능력이 어떻게 변화하는가?

주요 결과

• 후기 융합 기법은 시계열 전용 및 텍스트 전용 기준 모델 대비 통계적으로 유의미한 AUC 향상을 보였다(p < 0.001).
• 후기 융합 모델은 모든 시간대에서 텍스트 전용 기준 모델을 뛰어넘었으며, 더 많은 데이터가 포함될수록 성능 향상이 커졌다.
• 초기 융합 모델은 초기에는 텍스트 전용 TF-IDF 기준 모델보다 성능이 열 劣하였지만, 시간이 지나면서 이를 뛰어넘었다. 이는 초기 통합의 지연된 이점이 있음을 시사한다.
• 입원 시점의 임상 텍스트 예측 우수성은 시간이 지남에 따라 감소하였으며, 더 많은 생리학적 데이터가 확보될수록 그 영향력이 줄어들었다.
• 입원 이후의 진행 노트를 포함시키는 것은 모델 성능을 크게 향상시켰으며, 입원 노트만 사용하는 모델 대비 융합 모델이 뛰어난 성능을 보였다.
• 융합 모델의 성능은 생리학적 데이터와 텍스트 데이터가 추가될수록 꾸준히 향상되었으며, 이는 종단적 다중 모달 통합의 가치를 입증한다.