[논문 리뷰] Joint Modeling of Local and Global Temporal Dynamics for Multivariate Time Series Forecasting with Missing Values

Xianfeng Tang, Huaxiu Yao외 4명|arXiv (Cornell University)|2019. 11. 22.

Time Series Analysis and Forecasting참고 문헌 31인용 수 13

한 줄 요약

이 논문은 국소적이고 전역적인 시간 동적 패턴을 함께 모델링함으로써 결측치가 포함된 다변량 시계열(MTS) 예측을 위한 새로운 딥러닝 프레임워크인 LGnet을 제안한다. 이는 국소 통계를 키로 사용하여 외생 시계열에서 전역 패턴을 활용하는 메모리 네트워크를 사용하며, 생성된 시계열의 현실성 향상을 위해 적대적 훈련을 통합하여 고결측 비율(최대 90%)에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multivariate time series (MTS) forecasting is widely used in various domains, such as meteorology and traffic. Due to limitations on data collection, transmission, and storage, real-world MTS data usually contains missing values, making it infeasible to apply existing MTS forecasting models such as linear regression and recurrent neural networks. Though many efforts have been devoted to this problem, most of them solely rely on local dependencies for imputing missing values, which ignores global temporal dynamics. Local dependencies/patterns would become less useful when the missing ratio is high, or the data have consecutive missing values; while exploring global patterns can alleviate such problems. Thus, jointly modeling local and global temporal dynamics is very promising for MTS forecasting with missing values. However, work in this direction is rather limited. Therefore, we study a novel problem of MTS forecasting with missing values by jointly exploring local and global temporal dynamics. We propose a new framework LGnet, which leverages memory network to explore global patterns given estimations from local perspectives. We further introduce adversarial training to enhance the modeling of global temporal distribution. Experimental results on real-world datasets show the effectiveness of LGnet for MTS forecasting with missing values and its robustness under various missing ratios.

연구 동기 및 목표

• 결측치가 포함된 다변량 시계열(MTS) 예측 문제를 해결하며, 특히 높거나 연속적인 결측이 발생할 경우에도 유의미하게 성능을 유지한다.
• 기존 방법들이 국소적 의존성에만 의존하는 데서 비롯되는 한계를 극복하여 고결측 비율에서 성능 저하를 방지한다.
• 결측치가 있는 MTS 데이터에서 보다 정확한 보간 및 예측을 위해 국소적이고 전역적인 시간 동적 패턴을 함께 모델링한다.
• 적대적 훈련을 통해 전역 시간 분포를 모델링하여 생성된 시계열의 현실성을 향상시킨다.
• 사전 처리 단계 없이도 결측치 보간과 예측을 동시에 처리할 수 있는 통합형 엔드 투 엔드 프레임워크를 개발한다.

제안 방법

• 각 변수의 국소 통계 특징(예: 경험적 평균, 마지막 관측값)을 생성하여 전역 메모리 구성 요소를 검색하는 데 사용할 키로 사용한다.
• 국소 통계를 쿼리로 사용하여 외생 MTS 시계열에서 전역 시간 패턴을 저장하고 검색하는 메모리 네트워크 모듈을 활용한다.
• 검색된 전역 추정치를 입력 시계열의 결측 항목에 대한 보간 값으로 사용한다.
• 판별자(discriminator)가 실제 MTS 시계열과 생성된 시계열을 구분하도록 하는 적대적 훈련 기반의 설계를 도입하여, 생성자(LSTM 기반 예측 헤드)가 더 현실적인 전역 분포를 생성하도록 유도한다.
• 예측 손실(RMSE/MAE)과 적대적 손실을 조합한 손실 함수를 최적화하며, 두 손실을 균형 잡는 데 사용할 하이퍼파rameter λ를 사용한다.
• 사전 처리 단계 없이도 보간과 예측을 동시에 학습할 수 있도록 엔드 투 엔드 방식으로 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 결측치가 포함된 MTS 예측에서 국소적이고 전역적인 시간 동적 패턴을 함께 모델링할 경우 성능 향상이 이루어지는가?
• RQ2 메모리 네트워크 모듈이 외생 시계열에서 전역 시간 패턴을 효과적으로 캡처하고 활용하여 보간 및 예측 성능 향상에 기여하는가?
• RQ3 적대적 훈련이 고결측 비율에서 생성된 MTS 시계열의 현실성과 정확도를 향상시키는가?
• RQ4 다양한 결측 비율에서 제안된 LGnet 프레임워크는 기존 최신 기술 수준의 방법들보다 더 뛰어난 강건성과 정확도를 보이는가?
• RQ5 연속적인 결측값을 포함한 다양한 결측 데이터 패턴에서 메모리 모듈과 적대적 훈련의 기여도는 어떠한가?

주요 결과

• 포르투 택시 및 런던 날씨 데이터셋에서 모든 결측 비율(p = 0.1에서 0.9)에서 LGnet이 가장 낮은 RMSE와 MAE를 기록하며, 비-RNN, RNN 기반 및 최신 기술 수준의 방법들인 GRU-D와 BRITS를 모두 능가한다.
• 메모리 모듈은 특히 높은 결측 비율(예: p=0.9)에서 성능 향상에 기여하며, 메모리가 없는 개선된 버전(LGnet_adv) 대비 RMSE를 최대 25%까지 감소시킨다.
• 적대적 훈련은 RMSE를 2%~10% 감소시키며, 런던 날씨 데이터셋과 고결측 비율에서 더 두드러진 향상 효과를 보인다.
• 적대적 손실과 예측 손실을 균형 잡는 데 최적의 하이퍼파rameter λ는 1에서 10 사이에 위치하며, 100과 같은 값은 성능 저하를 초래한다.
• k=1인 베이징 대기질 데이터셋에서 p=0.9일 때 LGnet은 RMSE 0.0337을 기록하며, 메모리가 없는 LGnet_adv(RMSE=0.0710)를 능가하여 전역 모델링의 효과를 입증한다.
• 제거 분석 결과, 국소 통계가 높은 결측 비율로 인해 신뢰할 수 없을 때 메모리 모듈이 가장 유익한 것으로 확인되어 전역 동적 패턴의 보완적 역할을 검증한다.