[논문 리뷰] Learning Hierarchical Representations of Electronic Health Records for Clinical Outcome Prediction

Luchen Liu, Haoran Li외 5명|PubMed|2019. 03. 20.

Machine Learning in Healthcare참고 문헌 32인용 수 10

한 줄 요약

이 논문은 이중 주의 메커니즘(사건 및 시간 주의)을 사용하여 비정규적인 전자 건강 기록(EHR) 시계열을 단기 공존 그룹과 장기 시간적 순서로 적응적으로 분할하는 계층적 딥 러닝 모델을 제안한다. 이는 임상 결과 예측을 위한 특징적인 표현을 학습한다. 모델은 사망 예측에 대해 0.9428, 중환자실 입원 예측에 대해 0.9016의 최신 기술 수준(AUC) 점수를 기록하며, 장거리 의존성을 포착하면서도 질서가 어긋난 단기 사건에서 노이즈를 걸러내어 기존 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Clinical outcome prediction based on Electronic Health Record (EHR) helps enable early interventions for high-risk patients, and is thus a central task for smart healthcare. Conventional deep sequential models fail to capture the rich temporal patterns encoded in the long and irregular clinical event sequences in EHR. We make the observation that clinical events at a long time scale exhibit strong temporal patterns, while events within a short time period tend to be disordered co-occurrence. We thus propose differentiated mechanisms to model clinical events at different time scales. Our model learns hierarchical representations of event sequences, to adaptively distinguish between short-range and long-range events, and accurately capture their core temporal dependencies. Experimental results on real clinical data show that our model greatly improves over previous state-of-the-art models, achieving AUC scores of 0.94 and 0.90 for predicting death and ICU admission, respectively. Our model also successfully identifies important events for different clinical outcome prediction tasks.

연구 동기 및 목표

• 기존의 RNN 및 CNN가 효과적으로 포착하지 못하는 비정규적인 임상 이벤트 시계열을 모델링하는 데 도전한다.
• EHR 시계열 내에서 단기적 사건 공존(순서 없음)과 장기적 시간적 의존성(순서 있음)을 구분한다.
• 이벤트 시계열을 적응적으로 분할하고 대규모에서 의미 있는 시간 패턴을 포착하는 계층적 표현 학습 프레임워크를 개발한다.
• 주의 메커니즘을 통해 임상적으로 관련성이 있는 이벤트와 이벤트 그룹을 식별하여 해석 가능성과 예측 성능을 향상시킨다.
• 실제 EHR 데이터를 활용하여 사망 및 중환자실 입원과 같은 임상적으로 중요한 결과의 예측 정확도를 향상시킨다.

제안 방법

• 모델은 비정규적인 시간 간격의 임상 이벤트를 시간적 근접도 기반으로 순서 있는 클러스터로 그룹화하는 적응적 분할 모듈을 사용하여 단기 공존과 장기 순서를 구분한다.
• 저수준에서 각 그룹 내에서 이벤트 주의를 적용하여 핵심 이벤트를 식별하고 가중치를 부여하여 그룹 수준의 표현을 생성한다.
• 고수준에서 GRU 기반 순환 네트워크를 사용하여 그룹 표현의 시계열 동역학을 모델링하여 장기 의존성을 포착한다.
• 이중 주의 메커니즘—각 그룹 내 이벤트 주의와 그룹 순서에 대한 시간 주의—를 통해 동적 특징 가중치를 설정하고 모델의 해석 가능성을 향상시킨다.
• 이중 분류를 위한 교차 엔트로피 손실을 사용하여 종합적으로 훈련되며, 임상 결과(사망, 중환자실 입원)를 예측한다.
• 제거 실험을 통해 이중 주의 메커니즘과 적응적 분할의 필요성을 검증하였으며, 고정 길이 분할을 기준선으로 비교하였다.

실험 결과

연구 질문

• RQ1 계층적 딥 러닝 모델은 비정규적인 EHR 시계열에서 단기적 사건 공존과 장기적 시간적 의존성을 효과적으로 구분할 수 있는가?
• RQ2 EHR 이벤트의 적응적 분할은 고정 길이 분할 또는 분할 없이도 더 나은 임상 결과 예측을 이끌어낼 수 있는가?
• RQ3 이중 주의 메커니즘(이벤트 및 시간 주의)이 예측 성능과 모델의 해석 가능성에 얼마나 기여하는가?
• RQ4 사망 및 중환자실 입원에 대해 가장 예측력 있는 임상 이벤트는 무엇이며, 모델은 데이터 기반 방식으로 이를 식별할 수 있는가?
• RQ5 최신 기술 수준의 방법과 비교했을 때, 제안된 모델은 임상 결과 예측의 AUC 및 AUPRC 측면에서 어떤가?

주요 결과

• 제안된 모델은 사망 예측에 대해 AUC 0.9428, 중환자실 입원 예측에 대해 AUC 0.9016을 기록하며, 이는 이전 최신 기술 수준의 모델을 크게 능가한다.
• 제거 실험 결과, 이벤트 주의와 시간 주의 모두 필수적이며, 특히 사망 예측 과제에서 이벤트 주의가 더 큰 기여를 한다.
• 고정 길이 분할은 항상 적응적 분할 방법보다 성능이 열 劣하며, 그룹 크기가 너무 작거나 너무 클 경우 성능 저하가 발생한다.
• 모델은 '혈액 제품', '혈액 pH', '가족 소통'과 같은 임상적으로 의미 있는 이벤트를 사망 예측에 매우 중요하게 식별하며, 일부는 임상의가 간과할 수 있는 이벤트들이다.
• 중간값 이벤트 주의 점수는 서로 다른 결과에 대해 고유한 핵심 이벤트 집합을 드러내어, 모델이 과제에 맞는 임상 패턴에 적응할 수 있음을 보여준다.
• 모델은 질서가 어긋난 단기 사건에서 노이즈를 걸러내면서도 장기적 시간적 동역학을 유지하는 계층적 표현을 성공적으로 학습하여 정확한 예측을 가능하게 한다.