[논문 리뷰] Modeling Irregularly Sampled Clinical Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|2018. 12. 03.

Machine Learning in Healthcare참고 문헌 9인용 수 8

한 줄 요약

이 논문은 불규칙하게 샘플링된 多변량 임상 시간 시리즈를 모델링하기 위해 먼저 반모수적 보간 네트워크를 사용해 다수의 시간 시리즈에서 누락된 값을 재구성한 후, 후속 작업을 위한 예측 네트워크를 적용하는 딥러닝 프레임워크인 Interpolation-Prediction Networks를 제안한다. 이 방법은 MIMIC-III에서 사망률 및 입원 기간 예측에서 기존 모델, 특히 GRU 기반 베이스라인을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

While the volume of electronic health records (EHR) data continues to grow, it remains rare for hospital systems to capture dense physiological data streams, even in the data-rich intensive care unit setting. Instead, typical EHR records consist of sparse and irregularly observed multivariate time series, which are well understood to present particularly challenging problems for machine learning methods. In this paper, we present a new deep learning architecture for addressing this problem based on the use of a semi-parametric interpolation network followed by the application of a prediction network. The interpolation network allows for information to be shared across multiple dimensions during the interpolation stage, while any standard deep learning model can be used for the prediction network. We investigate the performance of this architecture on the problems of mortality and length of stay prediction.

연구 동기 및 목표

• 전자 건강 기록에서 얻은 희소하고 불규칙하게 샘플링된 다변량 임상 시간 시리즈에 대해 감독 기반 머신러닝 모델을 훈련하는 데 도전하는 것.
• 고정 크기의 완전히 관측된 입력을 가정하는 표준 모델의 한계를 극복하여 불규칙 데이터에서 엔드 투 엔드 학습을 가능하게 하는 것.
• 보간과 예측을 분리하는 모oduular 아키텍처를 개발하여 해석 가능성과 성능을 향상시키는 것.
• 다중 시간 스케일 표현을 통해 일시적인 성분과 관측 밀도 패턴을 명시적으로 모델링하는 것.
• 실제 EHR 데이터를 사용한 임상 예측 작업에서 기존 딥러닝 및 전통적 머신러닝 베이스라인을 능가하는 것.

제안 방법

• 모델은 두 층으로 구성된 반모수적 보간 네트워크를 사용한다: 첫 번째 층은 각 시간 시리즈에 대해 학습된 대역폭을 사용하는 라디얼 기저 함수 기반 단변량 보간을 수행한다.
• 두 번째 층은 학습된 상관 계수를 사용해 모든 시간 시리즈 간의 정보를 융합하여 보간 중 교차 시리즈 정보 공유를 가능하게 한다.
• 보간 네트워크는 세 가지 별도의 표현을 출력한다: 스무딩 신호, 일시적인 성분, 관측 강도 함수로, 각각 다른 시간 동역학을 포착한다.
• 이 표현들은 연결되어 표준 딥러닝 예측 네트워크(예: 피드포워드 또는 RNN)에 입력되어 후속 분류 또는 회귀 작업을 수행한다.
• 전체 아키텍처는 감독 및 비감독 성분을 조합한 복합 손실을 사용해 엔드 투 엔드로 훈련되며, 보간과 예측의 동시 최적화를 가능하게 한다.
• 보간 메커니즘은 가우시안 프로세스의 계산 및 구조적 제약을 피하면서도 유연성과 표현력을 유지한다.

실험 결과

연구 질문

• RQ1 반모수적 보간 네트워크가 임상 예측을 위해 희소하고 불규칙하게 샘플링된 다변량 시간 시리즈를 효과적으로 재구성할 수 있는가?
• RQ2 일시적인 성분과 관측 강도를 별도로 모델링하는 것이 표준 보간 방법에 비해 예측 성능을 향상시키는가?
• RQ3 엔드 투 엔드로 훈련된 Interpolation-Prediction Networks가 사망률 및 입원 기간 예측에서 기존 딥러닝 베이스라인을 능가할 수 있는가?
• RQ4 보간 및 예측 컴포넌트의 모oduular 설계가 불규칙한 EHR 데이터에서 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 MIMIC-III와 같은 실제 임상 데이터셋에서의 클래스 불균형과 높은 희소성에 대해 강건한가?

주요 결과

• 제안된 모델은 사망률 예측에서 최고의 AUC 스코어 0.853 ± 0.007을 기록하여 다음으로 우수한 베이스라인(GRU-D, 0.835 ± 0.013)을 유의미하게 뛰어넘었다(p < 0.01).
• AUPRC 지표에서는 0.418 ± 0.022를 기록하여 가장 우수한 베이스라인(GRU-S, 0.376 ± 0.014)보다 유의미하게 높아, 불균형 데이터에서 뛰어난 성능을 보였다.
• 입원 기간 예측에서 모델은 가장 낮은 중앙값 절대 오차 2.862 ± 0.166일을 기록하여 GRU-D(2.891 ± 0.103) 및 기타 베이스라인을 능가했다.
• 모델은 또한 가장 높은 설명된 분산(EV) 스코어 0.245 ± 0.019를 기록하여 회귀 작업에서 데이터 분산을 더 잘 포착함을 시사했다.
• 쌍체 t-검정을 통해 모든 지표에서 향상이 통계적으로 유의미했으며(p < 0.01), 중앙값 절대 오차를 제외한 모든 지표에서 유의미한 개선이 확인되었다.
• 제거 실험을 통해 스무딩, 일시적인 성분, 관측 강도의 세 가지 보간 출력 모두 최종 성능에 기여했음을 확인하여 다중 채널 분해 설계의 타당성을 검증했다.