[논문 리뷰] Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting

Defu Cao, Yujing Wang외 9명|arXiv (Cornell University)|2021. 03. 13.

Time Series Analysis and Forecasting참고 문헌 36인용 수 190

한 줄 요약

StemGNN 모델은 스펙트럴 도메인에서 시계열 간 상관관계와 시간적 의존성을 함께 모델링하며 Graph Fourier Transform과 Discrete Fourier Transform를 사용하고, 사전에 정의된 토폴로지가 없이도 최첨단의 다변량 시계열 예측을 달성한다.

ABSTRACT

Multivariate time-series forecasting plays a crucial role in many real-world applications. It is a challenging problem as one needs to consider both intra-series temporal correlations and inter-series correlations simultaneously. Recently, there have been multiple works trying to capture both correlations, but most, if not all of them only capture temporal correlations in the time domain and resort to pre-defined priors as inter-series relationships. In this paper, we propose Spectral Temporal Graph Neural Network (StemGNN) to further improve the accuracy of multivariate time-series forecasting. StemGNN captures inter-series correlations and temporal dependencies \ extit{jointly} in the \ extit{spectral domain}. It combines Graph Fourier Transform (GFT) which models inter-series correlations and Discrete Fourier Transform (DFT) which models temporal dependencies in an end-to-end framework. After passing through GFT and DFT, the spectral representations hold clear patterns and can be predicted effectively by convolution and sequential learning modules. Moreover, StemGNN learns inter-series correlations automatically from the data without using pre-defined priors. We conduct extensive experiments on ten real-world datasets to demonstrate the effectiveness of StemGNN. Code is available at https://github.com/microsoft/StemGNN/

연구 동기 및 목표

• 다변량 시계열 예측의 동기 부여와 해결
• 시계열 내부의 시간 패턴과 시계열 간 상관관계를 함께 모델링함으로써 다변량 시계열 예측의 성능을 향상시키고자 한다.
• 예측을 위한 의미 있는 표현을 추출하기 위해 GFT와 DFT를 통합하는 스펙트럴 도메인 신경망 아키텍처를 제안한다.
• 사전에 정의된 토폴로지에 의존하지 않고 시계열 간 관계의 자동 학습을 가능하게 한다.
• 대표 학습 품질을 향상시키기 위해 종단 간 프레임워크에서 forecasting과 backcasting을 통합한다.

제안 방법

• StemGNN을 도입하여 시계열 간 관계를 포착하기 위해 Graph Fourier Transform를 적용하고, 그 다음 Discrete Fourier Transform를 통해 시간 주파수 패턴을 모델링하며, 그 후 스펙트럴 도메인 합성 및 역변환을 수행한다.
• Spe-Seq Cell을 사용하여 각 시계열을 주파수 도메인에서 DFT, 1D 합성곱, GLU를 통해 분해하고 주파수 도메인 특성 학습을 가능하게 한다.
• self-attention을 통해 데이터로부터 시계열 간 상관관계를 학습하는 잠재 상관 계층을 도입하여 사전에 정의된 그래프를 피한다.
• Spectral Graph Convolution 모듈에 잔차 연결이 있는 두 개의 StemGNN 블록을 쌓고, 공유 인코더를 가진 forecasting 및 backcasting 가지를 사용한다.
• 표현 학습 품질을 향상시키기 위해 forecasting 손실(MSE/MAE)과 backcasting 손실의 결합 손실로 학습한다.
• 추론 시 다중 스텝 예측을 위해 롤링 전략을 채택한다.

실험 결과

연구 질문

• RQ1 스펙트럴 도메인에서 시계열 간 상관관계와 시간적 의존성을 함께 효과적으로 캡처하여 예측 정확도를 향상시킬 수 있는가?
• RQ2 시계열 간 관계의 자동 학습(잠재 그래프)이 다변량 예측에서 미리 정의된 토폴로지보다 우수한가?
• RQ3 듀얼 forecasting-backcasting 목표가 표현력과 예측 성능을 향상시키는가?
• RQ4 사전 그래프에 의존하지 않고 다양한 실제 다변량 시계열 데이터 세트에서 StemGNN의 성능은 어느 정도인가?

주요 결과

• StemGNN은 nine public multivariate time-series benchmarks에서 최첨단 성능을 달성하고, 평균적으로 기준선 대비 상당한 차이로 우수성을 보인다.
• 잠재 상관 계층은 인간이 정의한 토폴로지 없이도 해석 가능한 시계열 간 관계를 학습하며, 종종 전문가가 지정한 그래프에 필적하거나 상회한다.
• Ablation 연구는 Spe-Seq Cell, GFT, DFT, 잔차 연결, 또는 backcasting과 같은 구성 요소를 제거하면 성능이 저하되어 그 필요성을 강조한다.
• 교통 데이터에 대한 시각화는 센서 간 의미 있고 지리적으로 합리적인 학습 상관관계를 보여준다.
• COVID-19 사례 연구에서 StemGNN은 다주간 추세를 정확히 예측하고 발병 역학 간 합리적인 국경 간 상호 의존성을 드러낸다.