[논문 리뷰] Modelling EHR timeseries by restricting feature interaction

Kun Zhang, Yuan Xue외 4명|arXiv (Cornell University)|2019. 11. 14.

Machine Learning in Healthcare참고 문헌 13인용 수 6

한 줄 요약

이 논문은 과적합을 줄이기 위해 특징 간 상호작용을 제한함으로써 전자 의료 기록(EHR) 시계열을 모델링하기 위해 기능군 기반 장기 단기 기억망(FG-LSTM)을 제안한다. 각 임상 특징을 표준화된 값, 누락 표시자, 그리고 최근 측정 이후 경과한 시간으로 간주하여 고립된 그룹으로 처리함으로써, MIMIC-III에서 사망률, AKI, ICD-9 코드화 예측 성능을 각각 1.1% (p<0.01) 및 1.0–2.2% (p<0.01) 향상시켰다.

ABSTRACT

Time series data are prevalent in electronic health records, mostly in the form of physiological parameters such as vital signs and lab tests. The patterns of these values may be significant indicators of patients' clinical states and there might be patterns that are unknown to clinicians but are highly predictive of some outcomes. Many of these values are also missing which makes it difficult to apply existing methods like decision trees. We propose a recurrent neural network model that reduces overfitting to noisy observations by limiting interactions between features. We analyze its performance on mortality, ICD-9 and AKI prediction from observational values on the Medical Information Mart for Intensive Care III (MIMIC-III) dataset. Our models result in an improvement of 1.1% [p&lt;0.01] in AU-ROC for mortality prediction under the MetaVision subset and 1.0% and 2.2% [p&lt;0.01] respectively for mortality and AKI under the full MIMIC-III dataset compared to existing state-of-the-art interpolation, embedding and decay-based recurrent models.

연구 동기 및 목표

• 노이즈가 많고 누락된 EHR 시계열 데이터에 적용된 딥 러닝 모델의 과적합 문제를 해결하기 위해.
• 기존의 버킷화 방법에서 사라지는 빠른 추세와 누락 패턴과 같은 임상적으로 중요한 시간 패턴을 유지하기 위해.
• 원시의 집계되지 않은 EHR 시계열을 사용하여 사망률, AKI, ICD-9 코드화와 같은 임상 결과 예측 성능을 향상시키기 위해.
• 각 특징에 대해 표현력 있는 시간 모델링을 유지하면서도 특징 간 상호작용을 제한하는 순환 모델을 개발하기 위해.
• 특징 간 상호작용을 제한함으로써 일반화 능력과 강건성이 향상됨을 입증하기 위해.

제안 방법

• 각 임상 특징은 표준화된 값(누락 시 보간), 이진 누락 표시자, 그리고 선택적 최근 관측 이후 경과 시간으로 구성된 그룹으로 표현된다.
• FG-LSTM는 각 특징 그룹 내에서만 상호작용을 允허하고 특징 간 상호작용을 방지하는 제약된 가중치 행렬을 사용한다.
• 모델는 특징별 마스크(M_w 및 M_u)를 곱한 제약된 가중치 행렬을 사용하는 수정된 LSTM 식을 적용하여 그룹별 제약 조건을 강제한다.
• 시간 간격은 0에서 1로 정규화되어 시간 감쇠와 갭을 모델링하는 데 사용된다.
• 모든 특징 그룹은 공유된 은닉 상태를 가진 단일 RNN을 통해 처리되어 효율적인 계산을 가능하게 하면서도 특징 고립을 유지한다.
• 누락된 값의 보간은 선형이며 시간에 민감하며, 향후 값도 누락된 경우 앞서 채우기 방식을 사용한다.

실험 결과

연구 질문

• RQ1 RNN에서 특징 간 상호작용을 제한함으로써 EHR 시계열 모델링에서 일반화 능력 향상과 과적합 감소를 이룰 수 있는가?
• RQ2 최근 측정 이후 경과 시간과 누락 표시자를 유지함으로써 임상 결과 예측 성능이 향상되는가?
• RQ3 사망률 및 AKI 예측에서 최신의 보간, 임베딩, 감쇠 기반 RNN 모델과 비교해 FG-LSTM은 어떻게 성능을 내는가?
• RQ4 누락 패턴과 급격한 값 변화의 시간 패턴이 예측 능력에 얼마나 기여하는가?
• RQ5 독립적으로 처리되지만 공동으로 처리되는 모델이 여전히 임상적으로 의미 있는 시간 역동성을 포착할 수 있는가?

주요 결과

• MetaVision 서브셋에서 FG-LSTM는 사망률 예측의 AU-ROC에서 최신 기술 대비 1.1%p의 절대적 향상을 보였다(p<0.01).
• 전체 MIMIC-III 데이터셋에서 모델은 사망률 예측의 AU-ROC를 1.0%p 향상시켰다(p<0.01).
• AKI 예측에서 FG-LSTM는 기존 방법 대비 AU-ROC에서 2.2%p 향상되었다(p<0.01).
• 모델은 모든 평가된 작업과 데이터셋에서 기준 보간, 임베딩, 감쇠 기반 RNN보다 뛰어난 성능을 보였다.
• 제약된 아키텍처는 짧은 시간 단위에서 특징 간 비의미적인 상관관계를 방지함으로써 과적합을 감소시켰다.
• 결과는 특징 간 상호작용을 제한함으로써 노이즈가 많고 누락된 EHR 데이터에서 모델의 강건성과 예측 정확도가 향상됨을 입증한다.