[논문 리뷰] Deep Learning for Multivariate Time Series Imputation: A Survey

Jun Wang, Wenjie Du외 7명|arXiv (Cornell University)|2024. 02. 06.

Time Series Analysis and Forecasting인용 수 17

한 줄 요약

다변량 시계열의 누락값 대체를 위한 딥러닝 방법에 대한 포괄적 분류 체계와 실증 평가로, 예측적 및 생성적 접근법을 여러 데이터셋과 다운스트림 태스크에서 비교합니다.

ABSTRACT

Missing values are ubiquitous in multivariate time series (MTS) data, posing significant challenges for accurate analysis and downstream applications. In recent years, deep learning-based methods have successfully handled missing data by leveraging complex temporal dependencies and learned data distributions. In this survey, we provide a comprehensive summary of deep learning approaches for multivariate time series imputation (MTSI) tasks. We propose a novel taxonomy that categorizes existing methods based on two key perspectives: imputation uncertainty and neural network architecture. Furthermore, we summarize existing MTSI toolkits with a particular emphasis on the PyPOTS Ecosystem, which provides an integrated and standardized foundation for MTSI research. Finally, we discuss key challenges and future research directions, which give insight for further MTSI research. This survey aims to serve as a valuable resource for researchers and practitioners in the field of time series analysis and missing data imputation tasks.A well-maintained MTSI paper and tool list are available at https://github.com/WenjieDu/Awesome_Imputation.

연구 동기 및 목표

• 결측 불확실성(예측적 vs 생성적)과 신경망 아키텍처(RNN, CNN, GNN, 주의(attention), VAE, GAN, diffusion)라는 두 축으로 깊은 MSTI 방법을 분류한다.
• 대체 품질이 다운스트림 태스크에 미치는 영향을 평가하고 실제 데이터 세트에 대한 실험을 통해 실용적인 가이드를 제시한다.
• 각 방법 카테고리의 강점과 한계를 요약하고 MSTI의 남은 연구 질문을 강조한다.

제안 방법

• 결측 불확실성과 신경망 아키텍처를 기반으로 분류 체계를 제안한다.
• 방법을 검토하고 분류한다: RNN 기반, CNN 기반, GNN 기반, 주의 기반, VAE 기반, GAN 기반, 및 diffusion 기반.
• 예측적(결정론적) 및 생성적(분포 기반) 대체에 대한 학습 목표를 정의한다.
• PyPOTS 도구 키트를 사용한 실증 실험을 수행하여 대체 성능과 다운스트림 태스크 이득을 비교한다.
• 세 가지 실제 데이터 세트와 여러 대체 방법으로 벤치마크를 제공한다.
• 계산 복잡도와 방법 선택에 대한 실용적 지침을 논의한다.

실험 결과

연구 질문

• RQ1 다변량 시계열의 대체에 사용되는 현재의 주요 딥러닝 방법은 무엇이며, 불확실성 처리 및 아키텍처 차이에서 어떻게 다른가?
• RQ2 예측적 vs 생성적 대체 방법은 다양한 데이터세트과 다운스트림 태스크에서 어떻게 성능이 다른가?
• RQ3 정확도, 효율성 및 확장성 측면에서 MSTI 방법 간의 실용적 트레이드오프는 무엇인가?

주요 결과

방법	Air MAE	Air MSE	PhysioNet2012 MAE	PhysioNet2012 MSE	ETTm1 MAE	ETTm1 MSE
LOCF	0.206	0.279	0.411	0.569	0.135	0.072
M-RNN	0.524	0.648	0.674	0.864	0.651	1.074
GP-VAE	0.280	0.266	0.400	0.433	0.290	0.178
BRITS	0.142	0.129	0.246	0.325	0.124	0.046
USGAN	0.141	0.132	0.250	0.306	0.127	0.048
CSDI	0.105	0.153	0.211	0.260	0.157	0.292
TimesNet	0.159	0.172	0.266	0.272	0.113	0.027
Transformer	0.163	0.160	0.209	0.225	0.133	0.035
SAITS	0.133	0.128	0.202	0.218	0.115	0.030

• 단일 방법이 모든 데이터세트에서 우위를 점하지 않으며, 성능은 데이터세트 및 누락 패턴에 따라 달라진다.
• 높은 결측률 데이터(PhysioNet2012)에서 딥러닝 대체 방법은 간단한 기준선보다 우수하며, 특히 LOCF를 능가한다.
• 생성 모델(VAE/GAN/diffusion)은 불확실성 포착에 뛰어나지만 학습 안정성과 계산 비용은 다양하다.
• 일부 방법(SAITS, TimesNet, CSDI 등)은 보정된 데이터를 사용한 분류에서 강한 다운스트림 작업 이득을 달성한다.
• 다운스트림 분류기 성능(PR-AUC, ROC-AUC)은 더 나은 대체 품질에서 이점을 얻으며, 예를 들어 PhysioNet2012에서 SAITS가 이득을 보인다.
• 본 연구는 실용적 복잡도 비교를 제공하고 다운스트림 태스크를 포함하는 통합 학습 목표의 필요성을 재확인한다.