[논문 리뷰] Deep Learning to Attend to Risk in ICU

Phuoc Nguyen, Truyen Tran외 1명|arXiv (Cornell University)|2017. 07. 17.

Machine Learning in Healthcare참고 문헌 14인용 수 12

한 줄 요약

이 논문은 불규칙하게 샘플링된 생리학적 시계열 자료에서 ICU 사망률을 예측하기 위해 이중 수준의 주의 메커니즘을 갖춘 장기 단기 기억망(Long Short-Term Memory, LSTM) 기반의 딥러닝 모델을 제안한다. 모델은 신호 수준의 주의를 통해 정보가 풍부한 측정값을 선택하고, 추론 수준의 주의를 통해 중요한 시간 간격을 가중치를 부여하며, PhysioNet 2012 데이터셋에서 AUC 0.839를 달성하여 기준 모델들을 능가하고 해석 가능한 위험 추정을 제공한다.

ABSTRACT

Modeling physiological time-series in ICU is of high clinical importance. However, data collected within ICU are irregular in time and often contain missing measurements. Since absence of a measure would signify its lack of importance, the missingness is indeed informative and might reflect the decision making by the clinician. Here we propose a deep learning architecture that can effectively handle these challenges for predicting ICU mortality outcomes. The model is based on Long Short-Term Memory, and has layered attention mechanisms. At the sensing layer, the model decides whether to observe and incorporate parts of the current measurements. At the reasoning layer, evidences across time steps are weighted and combined. The model is evaluated on the PhysioNet 2012 dataset showing competitive and interpretable results.

연구 동기 및 목표

• 기존 통계 모델링이 어려운 ICU 모니터링에서의 불규칙하게 샘플링된 생리학적 시계열 자료와 누락 데이터 문제를 해결한다.
• 측정 시점과 누락의 패턴이 반영된 임상적 의사결정 과정을 모델링하며, 누락을 정보가 풍부한 것으로 간주한다.
• 선택적 정보 가중치를 제공하는 주의 메커니즘을 통합하여 개별 생물학적 마커와 중요한 시간 간격을 동적으로 가중함으로써 ICU 사망률 예측 성능을 향상시킨다.
• 어느 측정값과 시간 간격이 위험 예측에 가장 기여하는지 시각화함으로써 모델의 해석 가능성을 향상시킨다.
• 주의 확률과 예측된 사망률 위험 기반으로 실시간 경고 프레임워크를 개발한다.

제안 방법

• 고정된 3시간 간격으로 ICU 시계열 자료를 분할하고, 환자별 또는 전반적 평균을 사용하여 누락값을 보간하며, 각 간격당 요약 통계량(최소, 최대, 평균, 중앙값, 표준편차)을 계산한다.
• 장기 단기 기억망(Long Short-Term Memory, LSTM)을 사용하여 시간적 동역학을 인코딩하며, 입력 게이트와 잊기 게이트가 입력의 관련성에 따라 정보 흐름을 제어한다.
• 각 시간 단계에서 정보가 풍부한 생물학적 마커만 선택적으로 통합하는 LSTM 입력 게이트를 활용해 신호 수준의 주의를 구현한다.
• LSTM 은닉 상태에 다중 추론 수준의 주의 헤드를 적용하여 결과 예측에 있어 다양한 시간 간격의 중요도를 동적으로 가중치를 부여한다.
• 다중 주의 헤드를 사용해 주의가 부여된 은닉 상태를 풀링하여 분류를 위한 맥락 인식 특징 벡터를 생성한다.
• 과적합을 줄이기 위해 입력 및 출력 레이어에 드롭아웃 정규화를 적용하고, 교차 엔트로피 손실을 사용하여 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 불규칙하게 샘플링된 생리학적 데이터와 누락 데이터가 존재하는 상황에서 주의 메커니즘이 ICU 사망률 예측 성능을 향상시킬 수 있는가?
• RQ2 누락을 선택적 주의를 통해 정보로 간주함으로써, 기존의 보간 또는 풀링 방법 대비 예측 성능 향상이 이루어지는가?
• RQ3 이중 수준의 주의(신호 수준 및 시간 수준)가 모델의 해석 가능성과 임상적 관련성에 얼마나 기여하는가?
• RQ4 Proposed model은 PhysioNet 2012 벤치마크에서 최신 기술인 LSTM, GRU, 양방향 LSTM과 비교해 어떻게 성능을 냈는가?
• RQ5 주의 확률은 결과 예측을 넘어서 임상적 위험 상태의 실시간 경고 신호로 활용될 수 있는가?

주요 결과

• 제안된 모델은 PhysioNet 2012 데이터셋에서 AUC 0.839를 달성하여 표준 LSTM(AUC 0.825)과 양방향 LSTM에 주의 메커니즘을 적용한 모델(AUC 0.839)을 능가했다.
• 주의 메커니즘의 통합은 평균 풀링을 사용한 표준 LSTM 대비 정확도 향상을 보이며, 선택적 정보 가중치의 가치를 입증했다.
• 양방향 LSTM에 주의 메커니즘을 적용한 결과는 단방향 LSTM에 주의 메커니즘을 적용한 것보다 약간 향상되었으며, 향후 장기적 의존성 모델링에 양방향 맥락이 유리할 수 있음을 시사한다.
• 주의 확률은 임상적으로 관련성이 높은 시간 간격을 효과적으로 강조하였으며, 높은 주의 값은 위험 증가 및 비정상적인 생물학적 마커 경향과 일치하였다.
• 원시 측정값과 질병 상태와 함께 주의 가중치를 시각화함으로써 모델의 해석 가능성이 검증되었으며, 임상적 실시간 경고 가능성까지 제공하였다.
• 전체 시리즈 요약 통계를 사용한 로지스틱 회귀(AUC 0.791) 및 기타 보간 기반 기준 모델들을 모두 능가함으로써, 주의 메커니즘을 통합한 엔드 투 엔드 학습의 우수성을 확인하였다.