[논문 리뷰] Clinical Intervention Prediction and Understanding using Deep Networks

Harini Suresh, Nathan Hunt외 4명|arXiv (Cornell University)|2017. 05. 23.

Machine Learning in Healthcare참고 문헌 15인용 수 78

한 줄 요약

본 논문은 다중 모달 MIMIC-III 데이터를 사용하여 여러 ICU 개입의 시작(onset)과 weaning을 예측하는 forward-facing LSTM 및 CNN 모델을 개발하고, 최첨단 AUC를 달성하며 특징 occlusion 및 활성화 분석을 통한 해석 가능성을 제공합니다.

ABSTRACT

Real-time prediction of clinical interventions remains a challenge within intensive care units (ICUs). This task is complicated by data sources that are noisy, sparse, heterogeneous and outcomes that are imbalanced. In this paper, we integrate data from all available ICU sources (vitals, labs, notes, demographics) and focus on learning rich representations of this data to predict onset and weaning of multiple invasive interventions. In particular, we compare both long short-term memory networks (LSTM) and convolutional neural networks (CNN) for prediction of five intervention tasks: invasive ventilation, non-invasive ventilation, vasopressors, colloid boluses, and crystalloid boluses. Our predictions are done in a forward-facing manner to enable "real-time" performance, and predictions are made with a six hour gap time to support clinically actionable planning. We achieve state-of-the-art results on our predictive tasks using deep architectures. We explore the use of feature occlusion to interpret LSTM models, and compare this to the interpretability gained from examining inputs that maximally activate CNN outputs. We show that our models are able to significantly outperform baselines in intervention prediction, and provide insight into model learning, which is crucial for the adoption of such models in practice.

연구 동기 및 목표

• 생체 신호, 검사 수치, 임상 노트, 인구통계학적 변수를 포함한 이질적인 ICU 데이터를 통합하여 침습적 개입의 시작과 중단을 예측한다.
• 6시간 간격 창을 갖춘 전방향의 실시간 예측 모델을 개발한다.
• 다중 작업 개입 예측을 위한 LSTM과 CNN 아키텍처를 비교한다.
• LSTM의 feature occlusion과 CNN의 input activation analysis를 통해 모델 해석 가능성을 탐구한다.

제안 방법

• 정적 변수, 시간에 따라 변화하는 생체 신호/검사 수치, 그리고 노트를 포함한 시간별 특징 벡터를 노트의 주제 분포까지 포함하여 합친다.
• 노트를 50주제의 LDA 분포로 표현하고 이를 시간에 걸쳐 재현한다.
• 생체 신호를 Z-점수화하여 이질성/노이즈를 줄이고 누락 정보를 포착하는 생리학적 단어 표현을 사용한다.
• 두 개의 심층 아키텍처(LSTM 두 개의 512-뉴런 층; CNN 다중-입력 해상도 시간적 합성곱)와 로지스틱 회귀 기준선을 훈련한다.
• 70/10/20의 학습/검증/테스트 분할 및 검증 AUC에서의 조기 중단을 사용하여 클래스별 AUC 및 매크로 AUC로 평가한다.

실험 결과

연구 질문

• RQ1 모든 가용 데이터 모달리티를 사용하여 ICU에서 침습적 및 비침습적 개입의 시작, weaning, 그리고 진행 상태를 예측하는 딥 러닝 모델이 가능한가?
• RQ2 다중 작업 ICU 개입 예측에서 LSTM과 CNN 아키텍처가 상호 보완적 강점을 제공하는가?
• RQ3 각 개입에 대해 데이터 모달리티(생체 신호/실험실 수치 vs. 노트 vs. 정적 인구통계)가 예측 성능에 얼마나 기여하는가?
• RQ4 특징 폐쇄(LSTM) 및 입력 활성도 분석(CNN)을 통한 해석 가능성이 가능한가?

주요 결과

• 깊은 아키텍처가 다섯 가지 ICU 개입(시점 onset, wean, stay on, stay off)에 대해 태스크 전반에서 최첨단 AUC를 달성한다.
• 생리학적 단어 표현은 저발생 이벤트의 시작 예측을 향상시킨다(예: 인공호흡 시작 0.61에서 0.75로, 콜로이드 보울루스 시작 0.52에서 0.72로).
• LSTM의 feature occlusion은 침습적 개입에 대한 예측에서 생체 징후/실험실 수치가 주도하는 반면, 노트/토픽은 덜 침습적인 작업을 지배한다.
• CNN 분석은 임상적으로 타당한 단기 궤적과 특정 출력을 극대화하는 환각적 입력을 밝히며 해석 가능성에 기여한다.
• weaning 예측은 AUC 분산이 작아 개입 중단에 대한 임상적 일관성이 더 크다는 것을 시사한다.