[논문 리뷰] Recurrent Neural Networks for Multivariate Time Series with Missing Values

Zhengping Che, Sanjay Purushotham외 3명|arXiv (Cornell University)|2016. 06. 06.

Time Series Analysis and Forecasting참고 문헌 30인용 수 231

한 줄 요약

GRU-D는 입력과 은닉 상태에 마스킹, 시간 간격, 학습 가능한 감쇠를 통합하여 다변량 시계열에서 유익한 결측치를 명시적으로 모델링하는 GRU 기반 모델로, 헬스케어 데이터의 예측 작업을 향상시킵니다.

ABSTRACT

Multivariate time series data in practical applications, such as health care, geoscience, and biology, are characterized by a variety of missing values. In time series prediction and other related tasks, it has been noted that missing values and their missing patterns are often correlated with the target labels, a.k.a., informative missingness. There is very limited work on exploiting the missing patterns for effective imputation and improving prediction performance. In this paper, we develop novel deep learning models, namely GRU-D, as one of the early attempts. GRU-D is based on Gated Recurrent Unit (GRU), a state-of-the-art recurrent neural network. It takes two representations of missing patterns, i.e., masking and time interval, and effectively incorporates them into a deep model architecture so that it not only captures the long-term temporal dependencies in time series, but also utilizes the missing patterns to achieve better prediction results. Experiments of time series classification tasks on real-world clinical datasets (MIMIC-III, PhysioNet) and synthetic datasets demonstrate that our models achieve state-of-the-art performance and provides useful insights for better understanding and utilization of missing values in time series analysis.

연구 동기 및 목표

• 다변량 시계열 데이터에서 특히 헬스케어 분야에서 유익한 결측치를 활용할 필요성을 제시합니다.
• 마스킹과 시간 간격을 통해 결측 값을 통합적으로 처리하는 GRU 기반 모델(GRU-D)을 개발합니다.
• GRU-D가 실제 임상 데이터 세트와 합성 데이터에서 GRU 베이스라인 및 비-RNN 방법보다 우수함을 보입니다.
• 결측 패턴이 예측에 어떻게 도움이 되는지에 대한 통찰을 제공하고, 결측 데이터가 있는 시계열에 대한 프레임워크를 제시합니다.

제안 방법

• 마스킹 m_t와 시간 간격 δ_t를 도입하여 결측성 및 관찰의 최근성을 나타냅니다.
• 마스킹을 포함한 입력 및 히든 상태를 시간 경과에 따라 평균/기본값으로 감쇠시키는 학습 가능한 감쇠 메커니즘 γ_x와 γ_h를 추가하여 GRU-D를 제안합니다.
• GRU 업데이트 방정식(z_t, r_t, h_t)에 마스킹 벡터 m_t와 감쇠 항을 직접 통합하여 예측 및 결측성 처리 학습을 병행합니다.
• γ_t를 γ_t = exp(-max(0, W_γ δ_t + b_γ))로 정의하여 감쇠를 (0,1) 구간에 유지하고 변수별 감쇠를 가능하게 합니다(입력 감쇠의 대각선).
• 관찰된 특징이 경험적 평균으로 감쇠하는 입력 감쇠 γ_x와 h_{t-1}에 영향을 주는 은닉 상태 감쇠 γ_h의 두 가지 감쇠 경로를 허용합니다.
• 마스킹 m_t를 GRU 게이트에 통합하여 각 시점에 어떤 특징이 관찰되는지 모델에 정보를 제공합니다.

실험 결과

연구 질문

• RQ1 유익한 결측 패턴이 헬스케어 데이터의 시계열 분류를 개선할 수 있을까?
• RQ2 GRU-D가 실제 다변량 임상 시계열에서 결측 값을 가진 데이터에 대해 GRU 변형 및 비-RNN 베이스라인을 능가하는가?
• RQ3 입력 및 은닉 상태의 감쇠가 예측 성능 및 결측 패턴 해석성에 어떻게 기여하는가?
• RQ4 일부 시계열만 이용 가능한 온라인/조기 예측이 GRU-D에서 가능한가?

주요 결과

• GRU-D는 MIMIC-III 및 PhysioNet에서 사망률 예측 및 ICD-9 예측 작업에서 GRU 베이스라인 및 비-RNN 모델에 비해 평균 AUC가 가장 높았습니다.
• 합성 제스처 데이터에서 결측성이 더 정보를 많이 제공할수록 GRU-D가 베이스라인을 능가하여 유익한 결측 패턴의 효과적인 모델링을 보여주었습니다.
• GRU-D는 더 적은 데이터로도 후기 시점의 비-RNN 베이스라인에 근접하거나 이를 능가하는 조기 예측 성능을 개선하며, 더 많은 시점이 관찰될수록 온라인 예측도 우수합니다.
• 입력 및 은닉 상태 감쇠는 변수별 결측 영향력을 드러내며, 결측 비율이 낮은 변수에서 더 뚜렷한 효과를 보여 유의미한 유익한 결측성 처리임을 시사합니다.