[논문 리뷰] Time Series Data Imputation: A Survey on Deep Learning Approaches

Chenguang Fang, Chen Wang|arXiv (Cornell University)|2020. 11. 23.

Time Series Analysis and Forecasting참고 문헌 52인용 수 35

한 줄 요약

다변량 시계열의 누락 값 추정에 대한 심층 학습 방법의 고찰로, GRU-D, GRUI-GAN, E2 GAN, BRITS, NAOMI에 초점을 맞추고 이들의 아키텍처, 장점 및 한계에 대해 논의한다.

ABSTRACT

Time series are all around in real-world applications. However, unexpected accidents for example broken sensors or missing of the signals will cause missing values in time series, making the data hard to be utilized. It then does harm to the downstream applications such as traditional classification or regression, sequential data integration and forecasting tasks, thus raising the demand for data imputation. Currently, time series data imputation is a well-studied problem with different categories of methods. However, these works rarely take the temporal relations among the observations and treat the time series as normal structured data, losing the information from the time data. In recent, deep learning models have raised great attention. Time series methods based on deep learning have made progress with the usage of models like RNN, since it captures time information from data. In this paper, we mainly focus on time series imputation technique with deep learning methods, which recently made progress in this field. We will review and discuss their model architectures, their pros and cons as well as their effects to show the development of the time series imputation methods.

연구 동기 및 목표

• 누락 값과 불규칙한 시간 간격을 가진 시계열에서 효과적인 보간의 필요성을 제시한다.
• 시계열 보간에 대한 심층 학습 접근법을 분류하고 비교한다.
• 보간을 위한 모델 아키텍처, 데이터 표현(마스크, 시간 지연), 학습 전략을 설명한다.
• 방법들 간의 관계를 강조하고 현재 DL 기반 보간 기법의 강점과 한계를 식별한다.

제안 방법

• 보간 방법을 DL 기반과 전통 기법으로 분류한다.
• DL 기반 보간에 사용되는 모델 아키텍처(RNN, GRU, 양방향 변형, GAN)를 논의한다.
• 누락성에 대한 데이터 표현(마스크 행렬, 시간 지연 δ)을 도입한다.
• 주요 모델 GRU-D, GRUI-GAN, E2 GAN, BRITS, NAOMI를 설명하고, 감쇠 메커니즘과 양방향 업데이트를 포함한다.
• 불규칙한 시계열이 어떻게 처리되는지와 자동 인코더 및 적대적 학습이 성능을 어떻게 향상시키는지 분석한다.

실험 결과

연구 질문

• RQ1 누락된 시계열 값을 보간하기 위해 어떤 DL 기반 아키텍처와 입력 표현이 시간적 동적 특성을 가장 잘 포착하는가?
• RQ2 불규칙한 시간 간격과 누락 패턴이 주요 모델들 간의 보간 성능에 어떤 영향을 미치는가?
• RQ3 다변량 시계열 보간에서 GRU-D, GRUI-GAN, E2 GAN, BRITS, NAOMI의 비교 이점과 한계는 무엇인가?
• RQ4 양방향성 및 자동 인코더나 적대적 학습이 보간 정확도 향상을 위해 어떻게 활용되는가?

주요 결과

• DL 기반 보간 방법들(GRU-D, GRUI-GAN, E2 GAN, BRITS, NAOMI)은 RNN과 GAN을 활용하여 시간적 동적성과 누락을 모델링할 수 있다.
• GRU-D는 불규칙한 시계열을 처리하기 위해 시간 지연과 입력/은닉 감쇠 메커니즘을 도입한다.
• GRUI-GAN 및 E2 GAN은 보간에 GAN 기반 프레임워크를 적용하며, E2 GAN은 학습 안정성을 높이기 위해 자동 인코더 생성기를 사용한다.
• BRITS는 시간적 감쇠와 일관성 손실을 가진 양방향 RNN 기반 보간을 시연하여 단방향 모델보다 성능을 향상시킨다.
• NAOMI는 비자귀생(auto-regressive 아님) 이며 양방향 RNN과 분할-정복 예측 전략 및 적대적 학습을 채택하여 보간 품질을 향상시킨다.
• 본 고찰은 방법들 간의 관계를 설명하고 주의(attention)-기반, 타임스탬프 보간, 일관성 기회의 향후 방향을 식별한다.