[논문 리뷰] DeepCare: A Deep Dynamic Memory Model for Predictive Medicine

Trang Pham, Truyen Tran외 2명|arXiv (Cornell University)|2016. 02. 01.

Machine Learning in Healthcare참고 문헌 39인용 수 82

한 줄 요약

DeepCare는 시간 매개변수화된 LSTM를 사용하여 전자 의무 기록(EMR)에서 비정규적으로 간격이 떨어진, 발작성의 건강 데이터를 처리하기 위해 종단 간(end-to-end) 딥 러닝 모델을 제안한다. 진단과 간병을 벡터 공간에 매핑하고, 시간 인식 잊기 메커니즘을 통합하며, 다중 척도 시간 풀링을 적용함으로써 DeepCare는 당뇨병 및 정신건강 집단에서 향후 질환 진행과 고위험 결과를 예측하는 데 최첨단 성능을 달성한다.

ABSTRACT

Personalized predictive medicine necessitates the modeling of patient illness and care processes, which inherently have long-term temporal dependencies. Healthcare observations, recorded in electronic medical records, are episodic and irregular in time. We introduce DeepCare, an end-to-end deep dynamic neural network that reads medical records, stores previous illness history, infers current illness states and predicts future medical outcomes. At the data level, DeepCare represents care episodes as vectors in space, models patient health state trajectories through explicit memory of historical records. Built on Long Short-Term Memory (LSTM), DeepCare introduces time parameterizations to handle irregular timed events by moderating the forgetting and consolidation of memory cells. DeepCare also incorporates medical interventions that change the course of illness and shape future medical risk. Moving up to the health state level, historical and present health states are then aggregated through multiscale temporal pooling, before passing through a neural network that estimates future outcomes. We demonstrate the efficacy of DeepCare for disease progression modeling, intervention recommendation, and future risk prediction. On two important cohorts with heavy social and economic burden -- diabetes and mental health -- the results show improved modeling and risk prediction accuracy.

연구 동기 및 목표

• 전자 의무 기록(EMR)에서 환자의 건강 궤적의 장기적 시간적 의존성을 모델링하는 도전 과제를 해결한다.
• 다양한 크기의 입원과 간병을 포함한 비정규적으로 시간이 간격이 떨어진 발작성 건강 데이터를 처리한다.
• 수동적인 기능 공학이 필요 없고, 예후, 간병 추천, 질환 진행 모델링을 지원하는 종단 간 시스템을 개발한다.
• 의료 간병이 향후 질병 궤적과 위험 예측에 미치는 영향을 통합한다.
• 파rameter 공유와 확장 가능한 아키텍처를 통해 다양한 EMR 시스템과 건강 코hort에 일반적으로 배포 가능하게 한다.

제안 방법

• 각 환자 입원을 공유된 벡터 공간에 매핑된 이산적인 진단과 간병을 임bedding하여 연속적인 벡터로 표현한다.
• 입원 간의 비정규적인 시간 간격을 모델링하기 위해 시간 매개변수화된 잊기 게이트를 갖춘 수정된 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 자연스러운 잊기와 질병 특이적 진행을 반영하기 위해 두 가지 잊기 메커니즘을 도입한다: 단조 감소와 완전한 시간 매개변수화.
• 최근 사건에 중점을 두기 위해 감쇠된 가중치를 사용하는 다중 척도 시간 풀링을 적용하여 임상 위험에서의 최근성 효과를 캡처한다.
• 풀링을 통해 과거 및 현재 건강 상태를 집계하고, 이를 피드포워드 신경망을 통해 통과시켜 향후 결과를 예측한다.
• 병행 역전파(backpropagation through time)를 사용하여 전체 모델을 종단 간으로 훈련하고, 질병 단계 예측과 위험 분류를 최적화한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 임상 예후를 위해 비정규적으로 간격이 떨어진, 발작성의 EMR 데이터에서 장기적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 의료 간병이 향후 질병 궤적에 미치는 인과적 영향을 명시적으로 모델링하는 방법은 무엇인가?
• RQ3 비정규적인 의료 시퀀스에서 표준 RNN 또는 LSTM에 비해 시간 매개변수화가 위험 예측 정확도를 얼마나 향상시키는가?
• RQ4 다중 척도 시간 풀링은 임상 위험 추정에서 최근성 효과를 캡처하는 데 모델의 능력을 향상시키는가?
• RQ5 종단 간 딥 러닝 프레임워크는 당뇨병 및 정신건강에서 고위험 환자 결과를 예측하는 데 기존의 머신러닝 모델을 능가할 수 있는가?

주요 결과

• DeepCare는 당뇨병 환자에서 12개월 이내 고위험 예측에 79.0%의 F-스코어를 달성하여 기준 모델을 크게 능가했다.
• 정신건강 환자에서는 3개월 창에서 고위험 예측에 74.7%의 F-스코어를 기록하여 복잡하고 부담이 큰 코hort에서 강력한 성능을 보였다.
• 시간 매개변수화된 잊기와 간병 통합을 적용한 모델(모델 9)이 가장 높은 성능을 기록하여 시간적 및 임상적 맥락 모델링의 중요성을 입증했다.
• SVM, 랜덤 포레스트, 표준 RNN과 같은 전통적 모델보다 DeepCare가 고위험 예측의 F-스코어를 10퍼센트 포인트 이상 향상시켰다.
• 다중 척도 시간 풀링과 신경망 추론의 사용은 시간에 따라 변화하는 동적 건강 상태를 캡처함으로써 위험 추정을 향상시켰다.
• DeepCare는 당뇨병 및 정신건강 데이터셋에서 모두 경쟁적인 성능을 보였으며, 다양한 임상 조건과 데이터 구조에 걸쳐 일반화 가능성을 입증했다.