[논문 리뷰] Time-series Imputation and Prediction with Bi-Directional Generative Adversarial Networks

Mehak Gupta, Rahmatollah Beheshti|arXiv (Cornell University)|2020. 09. 18.

Machine Learning in Healthcare참고 문헌 28인용 수 9

한 줄 요약

이 논문은 비정규적이고 완전하지 않으며 길이가 변동되는 多변량 시계열 데이터에 대해 동시에 시계열 보간과 예측을 수행하는 이방향 생성 적대 신경망(Bi-GAN)을 제안한다. 보정된 값의 보간에 양방향 순환 생성자와 현실감 있는 보정을 위한 판별자를 활용함으로써, 사전 정의된 시간 창 없이 언제든지 예측이 가능한 모델을 구현하였으며, 소아 건강 기록과 공개 데이터셋에서 체질량지수(BMI) 예측 성능에서 최신 기법들을 능가한다.

ABSTRACT

Multivariate time-series data are used in many classification and regression predictive tasks, and recurrent models have been widely used for such tasks. Most common recurrent models assume that time-series data elements are of equal length and the ordered observations are recorded at regular intervals. However, real-world time-series data have neither a similar length nor a same number of observations. They also have missing entries, which hinders the performance of predictive tasks. In this paper, we approach these issues by presenting a model for the combined task of imputing and predicting values for the irregularly observed and varying length time-series data with missing entries. Our proposed model (Bi-GAN) uses a bidirectional recurrent network in a generative adversarial setting. The generator is a bidirectional recurrent network that receives actual incomplete data and imputes the missing values. The discriminator attempts to discriminate between the actual and the imputed values in the output of the generator. Our model learns how to impute missing elements in-between (imputation) or outside of the input time steps (prediction), hence working as an effective any-time prediction tool for time-series data. Our method has three advantages to the state-of-the-art methods in the field: (a) single model can be used for both imputation and prediction tasks; (b) it can perform prediction task for time-series of varying length with missing data; (c) it does not require to know the observation and prediction time window during training which provides a flexible length of prediction window for both long-term and short-term predictions. We evaluate our model on two public datasets and on another large real-world electronic health records dataset to impute and predict body mass index (BMI) values in children and show its superior performance in both settings.

연구 동기 및 목표

• 예측 모델링에서 비정규적이고 누락된 다변량 시계열 데이터의 과제를 해결하기 위해.
• 고정된 입력 또는 예측 창 길이가 필요 없는 통합된 딥 러닝 프레임워크를 개발하여 동시에 보간과 예측을 수행하기 위해.
• 학습 시 예측 기간을 사전에 지정할 필요 없이 유연한 장기 또는 단기 예측을 가능하게 하기 위해.
• 특히 소아 BMI 예측과 같은 의료 응용 분야에서 실세계 시계열 데이터 성능을 향상시키기 위해.
• 단일 모델이 복잡하고 완전하지 않은 시계열 환경에서 보간 및 예측 작업을 효과적으로 처리할 수 있음을 입증하기 위해.

제안 방법

• 생성자는 완전하지 않은 시계열 입력을 받아 누락된 값을 위한 타당한 보간 결과를 생성하는 이중 순환 신경망(Bi-RNN)이다.
• 판별자는 실제 시계열 데이터와 생성자로부터 생성된(보간된) 시퀀스를 구분하도록 훈련된다.
• 모델은 생성자와 판별자를 동시에 최적화하는 최소-최대 적대적 목적함수를 통해 엔드 투 엔드로 훈련된다.
• 이중 방향 아키텍처는 보다 정확한 보간과 예측을 위해 과거와 미래의 맥락을 모두 활용할 수 있도록 한다.
• 예측 창 길이에 대한 지식이 필요 없이 훈련되기 때문에 동적이고 민감한 예측이 가능하다.
• 모델은 중간 보간과 순서를 뛰어넘는 예측 모두를 지원하여 언제든지 예측 가능한 작업에 적합하다.

실험 결과

연구 질문

• RQ1 비정규적이고 완전하지 않으며 길이가 변동되는 시계열 데이터에서 단일 딥 러닝 모델이 보간과 예측을 동시에 효과적으로 수행할 수 있는가?
• RQ2 이중 방향 아키텍처는 단일 방향 모델 대비 보간 및 예측 정확도를 얼마나 향상시키는가?
• RQ3 사전 정의된 창 길이 없이 장기 또는 단기 예측에 얼마나 잘 일반화될 수 있는가?
• RQ4 실세계 데이터셋에서 최신 기법들과 비교해 보간 및 예측 성능 측면에서 Bi-GAN은 어떻게 성능을 내는가?
• RQ5 전자 건강 기록과 같은 복잡한 실세계 시계열 데이터에서 모델은 높은 성능을 유지할 수 있는가?

주요 결과

• Bi-GAN은 두 개의 공개 데이터셋과 대규모 실세계 전자 건강 기록 데이터셋에서 최신 기법들보다 보간 및 예측 작업 모두에서 뛰어난 성능을 달성하였다.
• 학습 시 창 길이를 지정할 필요 없이도 장기 및 단기 예측 모두에 대해 정확한 예측이 가능할 정도로 강력한 일반화 능력을 보였다.
• 이중 방향 생성자는 과거와 미래의 시간 포인트에서의 맥락적 종속성을 포착함으로써 보간 품질을 크게 향상시켰다.
• 적대적 훈련 프레임워크는 생성된 시퀀스의 현실감을 향상시켜 더 신뢰할 수 있는 예측을 이끌어냈다.
• 소아 BMI 예측 과제에서 Bi-GAN은 평균 절대 오차와 근미분 제곱 오차 지표 모두에서 기존 방법들을 능가하였다.
• 모델은 아키텍처나 하이퍼파라미터 재구성 없이도 길이가 변동되는 시퀀스와 누락된 데이터를 처리할 수 있어 강건성과 유연성을 입증하였다.