[논문 리뷰] Learning the Joint Representation of Heterogeneous Temporal Events for Clinical Endpoint Prediction

Luchen Liu, Jianhao Shen외 3명|arXiv (Cornell University)|2018. 03. 13.

Machine Learning in Healthcare인용 수 14

한 줄 요약

이 논문은 전자건강기록(EHR) 내 이질적인 시간적 사건들의 공동 표현을 학습하기 위해 이벤트 게이트와 이벤트 필터를 도입하여 비정규적인 샘플링 속도와 다양한 임상 이벤트 간 비선형 의존성을 모델링하는 딥러닝 모델인 HE-LSTM을 제안한다. 실제 EHR 데이터에서 평가한 결과, 사망 및 비정상적인 검사 결과 예측에서 베이스라인을 능가하며, 초기 학습 단계에서 최대 7.9%의 AUC 향상을 기록했고, 다양한 시퀀스 길이에서도 안정적인 성능을 보였다.

ABSTRACT

The availability of a large amount of electronic health records (EHR) provides huge opportunities to improve health care service by mining these data. One important application is clinical endpoint prediction, which aims to predict whether a disease, a symptom or an abnormal lab test will happen in the future according to patients' history records. This paper develops deep learning techniques for clinical endpoint prediction, which are effective in many practical applications. However, the problem is very challenging since patients' history records contain multiple heterogeneous temporal events such as lab tests, diagnosis, and drug administrations. The visiting patterns of different types of events vary significantly, and there exist complex nonlinear relationships between different events. In this paper, we propose a novel model for learning the joint representation of heterogeneous temporal events. The model adds a new gate to control the visiting rates of different events which effectively models the irregular patterns of different events and their nonlinear correlations. Experiment results with real-world clinical data on the tasks of predicting death and abnormal lab tests prove the effectiveness of our proposed approach over competitive baselines.

연구 동기 및 목표

• 전자건강기록(EHR)에서 이질적인 임상 이벤트의 비정규적이고 다중 척도의 시간 패턴을 모델링하는 데 도전하는 것.
• 혈액 검사, 진단, 약물 처방과 같은 다양한 이벤트 유형 간의 복잡한 비선형 의존성을 포괄하는 공동 표현을 학습하는 것.
• 수천 가지의 이벤트 유형을 포함한 대규모 EHR 데이터에 적합한 확장 가능한 딥러닝 모델을 개발하는 것.
• 사망 및 비정상적인 검사 결과와 같은 결과에 대한 임상 종단점 예측 정확도를 향상시키는 것.

제안 방법

• 이벤트 유형 임베딩과 타임스탬프를 기반으로 제어되는 이벤트 게이트를 도입하여 이질적인, 다중 척도의 샘플링 속도를 처리하는 Phased LSTM을 확장한다.
• 이벤트 게이트 내부에 이벤트 필터 메커니즘을 도입하여 다양한 이벤트 빈도에 대한 적응성을 향상시키고 표현 학습을 개선한다.
• 각 이벤트 유형과 그 속성에 대한 학습된 임베딩을 사용하여 이질적인 이벤트를 공통 잠재 공간에 표현한다.
• 시간 기반 메모리 업데이트를 갖춘 게이트드 순환 단위 아키텍처를 사용하여 비정규적인 이벤트 시퀀스 간의 장기적 시간 의존성을 모델링한다.
• 임상 종단점 예측을 위한 최적화 목표로 교차 엔트로피와 AUC를 사용하여 모델을 엔드 투 엔드로 학습한다.
• 다양한 이력 길이에서 시간 의존성 모델링 성능을 평가하기 위해 다중 척도 입력 시퀀스 평가를 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 EHR 내 이질적인 임상 이벤트의 비정규적인 방문 패턴을 효과적으로 포착할 수 있는가?
• RQ2 다양한 이벤트 유형(예: 검사 결과와 진단) 간의 비선형 상관관계가 임상 종단점 예측에 어떤 영향을 미치는가?
• RQ3 이질적인 이벤트의 공동 표현을 모델링할 경우, 각 이벤트를 별도로 모델링하는 것에 비해 예측 성능 향상 정도는 어느 정도인가?
• RQ4 입력 시퀀스 길이의 변동성과 초기 파rameter 설정에 대해 제안된 모델의 탄력성은 어떠한가?
• RQ5 이벤트 필터와 이벤트 게이트의 통합이 임상 예측 과제에서 일반화 능력과 수렴 속도 향상에 기여하는가?

주요 결과

• HE-LSTM는 첫 번째 학습 에포크 동안 사망 예측에서 단계 게이트 베이스라인 대비 AUC 7.9% 향상을 기록했다.
• 이벤트 게이트와 이벤트 필터는 사망 예측에서 단계 게이트 베이스라인 대비 평균 AUC 0.5% 향상 및 AP 2.8% 향상 효과를 보였다.
• 입력 시퀀스 길이가 증가함에 따라 HE-LSTM은 안정적인 성능 향상을 유지하였으며, 20개에서 1000개 이벤트의 시퀀스에서 AP는 0.7551에서 0.7687로, AUC는 0.9482에서 0.9516으로 상승했다.
• 필터가 포함된 모델은 다양한 초기 기간 설정에서 필터가 제거된 축소된 HE-LSTM 대비 평균 4.1%에서 6.6%의 성능 향상을 보였다.
• HE-LSTM는 사망 및 비정상적인 검사 결과 예측 과제에서 모든 베이스라인을 능가하며, 실제 EHR 데이터에서의 우수한 확장성과 표현 학습 능력을 입증했다.
• 모델의 성능 향상은 특히 장기 시퀀스에서 가장 두드러졌으며, 이는 이질적 이벤트 스트림에서 장기적 시간 의존성을 효과적으로 모델링할 수 있음을 확인시켰다.