[논문 리뷰] Multi-Scale Adaptive Graph Neural Network for Multivariate Time Series Forecasting

Ling Chen, Donghui Chen외 5명|arXiv (Cornell University)|2022. 01. 13.

Time Series Analysis and Forecasting인용 수 9

한 줄 요약

이 논문은 다변량 시계열 예측을 위한 새로운 프레임워크인 다중 척도 적응형 그래프 신경망(MAGNN)을 제안한다. 이는 적응형 그래프 학습 모듈과 척도별 융합 메커니즘을 통해 다중 척도 시계열 패턴과 척도별로 특화된 변수 간 상관관계를 동시에 모델링한다. MAGNN는 여섯 개인 실세계 데이터셋에서 최신 기술(SOTA) 방법들을 능가하며, 높은 예측 정확도를 확보하면서도 효율적인 계산을 유지한다.

ABSTRACT

Multivariate time series (MTS) forecasting plays an important role in the automation and optimization of intelligent applications. It is a challenging task, as we need to consider both complex intra-variable dependencies and inter-variable dependencies. Existing works only learn temporal patterns with the help of single inter-variable dependencies. However, there are multi-scale temporal patterns in many real-world MTS. Single inter-variable dependencies make the model prefer to learn one type of prominent and shared temporal patterns. In this paper, we propose a multi-scale adaptive graph neural network (MAGNN) to address the above issue. MAGNN exploits a multi-scale pyramid network to preserve the underlying temporal dependencies at different time scales. Since the inter-variable dependencies may be different under distinct time scales, an adaptive graph learning module is designed to infer the scale-specific inter-variable dependencies without pre-defined priors. Given the multi-scale feature representations and scale-specific inter-variable dependencies, a multi-scale temporal graph neural network is introduced to jointly model intra-variable dependencies and inter-variable dependencies. After that, we develop a scale-wise fusion module to effectively promote the collaboration across different time scales, and automatically capture the importance of contributed temporal patterns. Experiments on four real-world datasets demonstrate that MAGNN outperforms the state-of-the-art methods across various settings.

연구 동기 및 목표

• 기존 모델이 다변량 시계열 예측에서 단일 척도 시계열 패턴과 공유되는 변수 간 상관관계에 집중하는 데서 비롯하는 한계를 해결하기 위해.
• 실세계 시계열 데이터에 내재된 복잡한 다중 척도 시계열 동역학(예: 일일, 주간)을 포착하기 위해.
• 사전 정의된 사전 지식에 의존하지 않고 척도별로 특화된 변수 간 상관관계를 학습함으로써 다양한 시간 척도에서 변수 간 상호작용을 더 정확하게 모델링하기 위해.
• 다중 시간 척도에서의 내부 변수 시계열 의존성과 변수 간 의존성을 함께 모델링하기 위해 다중 척도 그래프 신경망을 사용하기 위해.
• 다양한 시간 패턴의 중요도를 자동으로 포착하고 다중 척도 간 협업을 촉진하기 위한 척도별 융합 메커니즘 개발하기 위해.

제안 방법

• 다양한 시간 척도에서 계층적인 시계열 표현을 추출하기 위해 다중 척도 피라미드 네트워크를 사용하며, 다양한 시계열 패턴을 유지한다.
• 사전 정의된 그래프가 필요 없이 시간 척도에 따라 변화하는 변수 간 상관관계를 모델링하기 위해 척도별로 특화된 인접 행렬을 추론하는 적응형 그래프 학습 모듈을 도입한다.
• 다중 척도에서의 내부 변수 및 외부 변수 간 의존성을 동시에 처리함으로써 다중 척도 시계열 그래프 신경망이 내부 및 외부 변수 간 의존성을 통합한다.
• 학습 가능한 가중치를 사용하여 다양한 시간 척도에서의 표현을 융합함으로써 각 척도에 대한 동적 중요도 할당을 가능하게 하는 척도별 융합 모듈을 설계한다.
• 예측 정확도를 최적화하기 위해 복수의 목적 함수를 조합한 재구성 및 예측 목적을 포함하는 다중 작업 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 다변량 시계열에서 일일, 주간 등의 다중 척도 시계열 패턴을 효과적으로 포착할 수 있는가?
• RQ2 다양한 시간 척도에서 변수 간 상관관계를 동적으로 적응시킬 수 있는가? 이를 통해 예측 성능 향상이 가능한가?
• RQ3 다양한 시간 척도에서 내부 변수 의존성과 외부 변수 의존성을 동시에 모델링할 수 있는가?
• RQ4 다중 척도 표현을 융합하여 예측 정확도를 향상시키는 최적의 방법은 무엇인가?
• RQ5 실세계 예측 과제에서 고정되거나 공유되는 인접 행렬에 비해 제안된 적응형 그래프 학습 메커니즘이 어떻게 성능을 높이는가?

주요 결과

• MAGNN는 여섯 개인 실세계 데이터셋에서 최고의 성능을 기록하였으며, 평균 RSE는 0.4097, 평균 CORR는 0.8992를 기록하여 LSTNet, TPA-LSTM, MTGNN를 포함한 최신 기술(SOTA) 방법들을 능가하였다.
• 적응형 그래프 학습 모듈을 탑재한 모델(MAGNN-att)은 기준 모델인 MAGNN-pooling 버전 대비 CORR에서 2.5% 향상되고 RSE는 1.5% 감소하였다.
• 제거 실험을 통해 다중 척도 피라미드와 척도별 융합 구성 요소가 핵심임을 확인하였으며, 최고의 성능은 컨볼루션 채널 크기 32와 이웃 수 40에서 달성되었다.
• TPA-LSTM와 MTGNN보다 낮은 계산 비용을 가지며, Traffic 데이터셋에서 총 훈련 시간이 1.55시간으로, 각각 8.71시간과 4.86시간보다 짧았다.
• 교통, 에너지, 전력 소비 등 다양한 유형의 데이터에 대해 뛰어난 강인성을 보이며, 강력한 일반화 능력을 나타내었다.
• 하이퍼파rameter 분석 결과, 채널 크기와 이웃 수 모두 성능에 크게 영향을 미치며, 최적의 값은 각각 32와 40였다.