[논문 리뷰] RAIM: Recurrent Attentive and Intensive Model of Multimodal Patient Monitoring Data

Yanbo Xu, Siddharth Biswal외 3명|arXiv (Cornell University)|2018. 07. 23.

Machine Learning in Healthcare참고 문헌 35인용 수 25

한 줄 요약

RAIM은 ECG 파형, 생체신호 및 이산 임상 이벤트와 같은 고밀도 다중모달 ICU 모니터링 데이터를 랩어워크 결과와 간호 조치에 의해 안내되는 어텐션 메커니즘을 사용해 공동으로 분석하는 반복적이고 주의 집중적이며 강력한 딥러닝 모델이다. MIMIC-III 웨이브포드 데이터베이스 매칭 서브셋에서 생리적 악화 예측에 AUC-ROC 90.18%의 최고 성능을 달성하였고, 입원 기간 예측 정확도는 86.82%를 기록하였다.

ABSTRACT

With the improvement of medical data capturing, vast amount of continuous patient monitoring data, e.g., electrocardiogram (ECG), real-time vital signs and medications, become available for clinical decision support at intensive care units (ICUs). However, it becomes increasingly challenging to model such data, due to high density of the monitoring data, heterogeneous data types and the requirement for interpretable models. Integration of these high-density monitoring data with the discrete clinical events (including diagnosis, medications, labs) is challenging but potentially rewarding since richness and granularity in such multimodal data increase the possibilities for accurate detection of complex problems and predicting outcomes (e.g., length of stay and mortality). We propose Recurrent Attentive and Intensive Model (RAIM) for jointly analyzing continuous monitoring data and discrete clinical events. RAIM introduces an efficient attention mechanism for continuous monitoring data (e.g., ECG), which is guided by discrete clinical events (e.g, medication usage). We apply RAIM in predicting physiological decompensation and length of stay in those critically ill patients at ICU. With evaluations on MIMIC- III Waveform Database Matched Subset, we obtain an AUC-ROC score of 90.18% for predicting decompensation and an accuracy of 86.82% for forecasting length of stay with our final model, which outperforms our six baseline models.

연구 동기 및 목표

• 고밀도의 다중모달 ICU 모니터링 데이터, 즉 연속적인 ECG 및 생체신호와 랩어워크 및 약물 투여와 같은 이산 임상 이벤트를 함께 모델링하는 도전 과제를 해결하기 위해.
• 밀도 높은 신호가 희박한 신호를 지배하지 않는 방식으로 이질적인 데이터 모odalities를 통합하는 해석 가능하고 효율적인 딥러닝 모델을 개발하기 위해.
• 연속적인 생리적 신호의 시간 동적 특성과 비정기적인 임상 이벤트를 공동으로 모델링하여 ICU 내 임상 예측 성능을 향상시키기 위해.
• 임상 이벤트를 생리적 신호에 대한 어텐션 메커니즘의 지침으로 사용하여 모델의 해석 가능성을 향상시키기 위해.

제안 방법

• RAIM은 이중 스트림 아키텍처를 사용한다: 한 분지는 ECG, 생체신호 등 연속적인 다중모달 신호를 1D-CNN과 LSTM을 통해 처리하고, 다른 분지는 이산적인 임상 이벤트(랩어워크, 간호 조치)를 처리한다.
• 연속적 신호에 대해 다중 채널 어텐션 메커니즘을 도입하며, 어텐션 가중치는 이산적인 임상 이벤트에 의해 동적으로 안내되어 관련 생리적 세그먼트에 집중하도록 한다.
• 랩어워크 결과와 간호 조치로부터 지도 행렬을 구성하여 어텐션을 안내함으로써, 모델의 집중이 임상적으로 관련성이 있는 사건과 일치하도록 보장한다.
• 시간적 융합 트랜스포머 유사 메커니즘을 사용하여 어텐션된 생리적 특징과 임상 이벤트 임베딩을 통합하여 엔드 투 엔드 예측을 수행한다.
• 최종 출력 레이어는 생리적 악화에 대한 시간에 따라 변화하는 위험 점수와 입원 기간에 대한 다항 예측을 생성한다.
• 어텐션 메커니즘이 생리적 채널과 시간 창이 특정 임상 결과에 대해 가장 예측 가능한지 확인함으로써 해석 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 이산적인 임상 이벤트에 의해 안내되는 어텐션 메커니즘이 ICU 모니터링에서 고밀도 연속 생리적 신호의 모델링을 어떻게 향상시키는가?
• RQ2 연속적인 ECG/생체신호와 이산적인 임상 이벤트를 통합한 다중모달 데이터 통합이 생리적 악화 및 입원 기간 예측 성능에 어떤 영향을 미치는가?
• RQ3 랩어워크 결과와 간호 조치에 의해 안내되는 어텐션은 모델의 해석 가능성과 표현 학습 수준에서 어느 정도 향상되는가?
• RQ4 제안된 RAIM 모델은 지도 어텐션 또는 다중모달 통합을 사용하지 않는 베이스라인 모델보다 ICU 예측 과제에서 성능이 뛰어나다고 할 수 있는가?

주요 결과

• RAIM은 생리적 악화 예측에 AUC-ROC 90.18%를 달성하여 여섯 개의 베이스라인 모델을 뛰어넘는 성능을 보였다.
• 최종 RAIM-3 모델은 9개의 사전 정의된 클래스(1–7일, 7–14일, 14일 초과)에서 입원 기간 예측 정확도 86.82%를 기록하였다.
• 랩어워크 결과와 간호 조치 양쪽 모두로부터 지도를 받은 모델(RAIM-3)이 두 예측 과제에서 가장 뛰어난 성능을 보이며, 포괄적인 어텐션 지도의 가치를 입증하였다.
• 정성적 분석 결과, 중재나 사망과 같은 임상적으로 중요한 사건 직전에 여러 생리적 채널에서 높은 어텐션 가중치가 지속적으로 생성됨을 확인하여 모델의 임상적 관련성을 검증하였다.
• t-SNE 시각화 결과, RAIM-3의 최종 LSTM 표현은 베이스라인 모델 대비 입원 기간 클래스 간에 더 명확히 분리되어 있음을 확인하여, 향상된 표현 학습 능력을 입증하였다.
• 어텐션 메커니즘은 환자 악화 이전에 ECG 파형 및 생체신호와 같은 임상적으로 의미 있는 생리적 세그먼트를 성공적으로 강조하여 모델의 해석 가능성을 향상시켰다.