[논문 리뷰] Interpolation-Prediction Networks for Irregularly Sampled Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|2019. 09. 13.

Time Series Analysis and Forecasting인용 수 30

한 줄 요약

이 논문은 전자건강기록(EHR)에서 흔한 희박하고 비정규적으로 샘플링된 다변량 시계열 데이터에 대한 지도학습을 위한 딥러닝 프레임워크인 Interpolation-Prediction Networks를 제안한다. 반응형 보간 네트워크를 사용해 광범위한 추세, 일시적 변화, 관측 빈도를 함께 모델링하고, 그 다음에 GRU 기반 예측 네트워크를 거쳐 MIMIC-III에서 사망 예측 분류와 입원 기간 예측 회귀 과제에서 기존 방법보다 통계적으로 유의미한 향상으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we present a new deep learning architecture for addressing the problem of supervised learning with sparse and irregularly sampled multivariate time series. The architecture is based on the use of a semi-parametric interpolation network followed by the application of a prediction network. The interpolation network allows for information to be shared across multiple dimensions of a multivariate time series during the interpolation stage, while any standard deep learning model can be used for the prediction network. This work is motivated by the analysis of physiological time series data in electronic health records, which are sparse, irregularly sampled, and multivariate. We investigate the performance of this architecture on both classification and regression tasks, showing that our approach outperforms a range of baseline and recently proposed models.

연구 동기 및 목표

• 전자건강기록(EHR)에서 흔한 희박하고 비정규적으로 샘플링된 다변량 시계열 데이터에 대한 지도학습 과제를 해결하기 위해.
• 가우시안 프로세스 기반 보간의 계산 복잡도를 피하면서도 시간 시계열 차원 간의 정보를 유지하는 모듈러 딥러닝 아키텍처를 개발하기 위해.
• 반응형 보간 네트워크를 사용해 광범위한 추세, 단기적 일시적 변화, 관측 빈도를 명시적으로 다중 시간스케일로 모델링하기 위해.
• 실제 세계의 EHR 데이터셋에서 분류 및 회귀 과제에서 기존 최신 기술 수준의 모델을 능가하기 위해.

제안 방법

• 아키텍처는 다변량 시계열을 모델링하기 위해 피드포워드 레이어를 사용하는 반응형 보간 네트워크를 사용하며, 보간 과정에서 입력 채널 간의 정보 공유를 가능하게 한다.
• 보간 네트워크는 입력당 세 가지 별도의 출력 시계열을 생성한다: 부드러운 보간(광범위한 추세), 일시적 보간(단기적 사건), 관측 빈도를 나타내는 강도 함수.
• 강도 함수는 관측 시간의 반응형 비모수적 표현을 사용하여 점과정 모델링에서 영감을 얻어 모델링된다.
• 출력은 후속 분류 및 회귀 과제를 위한 GRU 기반 예측 네트워크에 입력된다.
• 모델 전체는 지도학습 및 비지도학습 손실을 조합한 복합 목적함수를 사용해 엔드 투 엔드로 훈련된다.
• 보간 네트워크는 가우시안 프로세스의 정의된 양성 행렬 제약 조건을 피함으로써 더 빠르고 확장 가능한 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모듈러이고 엔드 투 엔드인 딥러닝 프레임워크가 희박하고 비정규적으로 샘플링된 다변량 시계열 데이터로부터 기존 모델을 능가할 수 있는가?
• RQ2 광범위한 추세, 일시적 변화, 관측 강도로의 명시적 분해가 예측 성능에 어떤 영향을 미치는가?
• RQ3 분류 및 회귀 과제에서 개별 정보 채널(부드러운, 일시적, 강도)이 모델 성능에 얼마나 기여하는가?
• RQ4 제안된 보간 네트워크가 가우시안 프로세스 기반 기준 모델보다 성능이 뛰어나면서도 계산 효율성을 유지하는가?
• RQ5 모델이 사망 예측 및 입원 기간 예측과 같은 다양한 EHR 기반 과제에 일반화 가능한가?

주요 결과

• MIMIC-III 사망 예측 분류 과제에서 제안된 모델은 AUC(0.853 ± 0.007)와 AUPRC(0.418 ± 0.022) 모두 최고 성능을 기록했으며, 모든 기준 모델보다 유의미하게 뛰어나 (p < 0.01).
• 입원 기간 예측 회귀 과제에서 모델은 가장 낮은 중앙값 절대오차(2.862 ± 0.166일)와 가장 높은 설명 분산(0.245 ± 0.019)을 기록했으며, 모든 기준 모델보다 통계적으로 유의미한 향상이 있었다.
• 제거 실험에서 일시적 변화 및 강도 함수 출력만을 사용할 경우 회귀 성능이 더욱 향상되었으며, 이는 이러한 구성 요소가 과제에 가장 정보가 많다는 것을 시사한다.
• 가우시안 프로세스 어댑터(Li & Marlin, 2016) 대비 훈련 시간이 50배 빨라졌으며, 성능는 동등하거나 이를 초월했다.
• Harutyunyan 등(2017)의 벤치마크에서 제안된 모델은 다시 한번 이전 접근 방식을 능가했으며, 다양한 데이터 코hort에서의 일반화 능력을 확인했다.