[논문 리뷰] Dynamic Graph Learning-Neural Network for Multivariate Time Series Modeling

Zhuoling Li, Gaowei Zhang외 2명|arXiv (Cornell University)|2021. 12. 06.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 다변량 시계열을 데이터에서 정적(장기적) 및 동적(단기적) 그래프 구조를 학습함으로써 모델링하는 동적 그래프 학습-신경망인 SDGL을 제안한다. 게이팅 메커니즘을 통해 노드 특징과 학습된 정적 그래프를 융합하고, 다중 헤드 인접성 모듈을 사용함으로써 SDGL은 변화하는 시공간적 종속성을 포착하여 교통 및 기준 시계열 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multivariate time series forecasting is a challenging task because the data involves a mixture of long- and short-term patterns, with dynamic spatio-temporal dependencies among variables. Existing graph neural networks (GNN) typically model multivariate relationships with a pre-defined spatial graph or learned fixed adjacency graph. It limits the application of GNN and fails to handle the above challenges. In this paper, we propose a novel framework, namely static- and dynamic-graph learning-neural network (SDGL). The model acquires static and dynamic graph matrices from data to model long- and short-term patterns respectively. Static matric is developed to capture the fixed long-term association pattern via node embeddings, and we leverage graph regularity for controlling the quality of the learned static graph. To capture dynamic dependencies among variables, we propose dynamic graphs learning method to generate time-varying matrices based on changing node features and static node embeddings. And in the method, we integrate the learned static graph information as inductive bias to construct dynamic graphs and local spatio-temporal patterns better. Extensive experiments are conducted on two traffic datasets with extra structural information and four time series datasets, which show that our approach achieves state-of-the-art performance on almost all datasets. If the paper is accepted, I will open the source code on github.

연구 동기 및 목표

• 다변량 시계열에서 장기적 및 단기적 패턴을 혼합으로 모델링하는 과제를 해결한다.
• 기존 GNN에서 고정되거나 사전 정의된 그래프의 한계를 극복하여 변화하는 종속성을 포착하지 못하는 문제를 해결한다.
• 변수 간의 안정적인 장기적 관계와 시간에 따라 변화하는 단기적 상호작용을 모두 학습하는 프레임워크를 개발한다.
• 정적 그래프에서 유도된 인덕티브 바이어스를 동적 그래프 학습에 통합하여 국소적 시공간적 변화의 모델링을 향상시킨다.
• 실제 다변량 시계열에서 사전 지정된 그래프 구조에 의존하지 않고도 뛰어난 예측 성능를 달성한다.

제안 방법

• 노드 임베딩에서 정적 그래프 행렬을 학습하여 고정된 장기적 종속성을 포착하고, 그래프 정규성으로 정규화하여 구조적 품질을 보장한다.
• 시간에 따라 변하는 노드 특징과 정적 그래프 임베딩을 사용하여 동적 그래프를 구성함으로써 단기적 상호작용의 시간 변화 모델링을 가능하게 한다.
• 게이팅 메커니즘을 활용해 동적 노드 입력과 정적 그래프 정보를 융합하여 변화하는 종속성의 표현 학습을 향상시킨다.
• 다중 헤드 인접성 모듈을 사용하여 동적 그래프 내 변수 간의 관계를 효율적으로 추출하고 모델링한다.
• 정적 그래프 구조를 동적 그래프 학습에 인덕티브 바이어스로 통합하여 동적 그래프가 장기 패tern 주변에서 진동하도록 보장한다.
• 그래프 정규화를 적용하여 학습 중에 학습된 정적 그래프의 안정성과 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 다변량 시계열 모델은 어떻게 장기적 패턴과 단기적 시간 패턴을 효과적으로 포착할 수 있는가?
• RQ2 변수 간 관계가 시간에 따라 변화할 때, 동적 그래프 학습이 예측 정확도를 향상시킬 수 있는가?
• RQ3 정적 그래프 구조를 인덕티브 바이어스로 통합함으로써 동적 종속성 학습이 어떻게 향상되는가?
• RQ4 각 구성 요소(예: 동적 그래프 학습, 정보 융합, 정규화)가 전체 모델 성능에 기여하는 바는 무엇인가?
• RQ5 사전 정의되거나 수작업으로 구성된 그래프 구조에 의존하지 않고도 그래프 학습 프레임워크가 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• SDGL은 교통 데이터셋(PeMSD4 및 PeMSD8)과 네 개의 기준 시계열 데이터셋에서 모두 최신 기술 수준의 성능를 달성하여 대부분의 경우 기존 방법을 능가한다.
• 제거 실험 결과 동적 그래프 학습 레이어를 제거할 경우 성능 저하가 심각하게 발생하며, 특히 장기 예측(예: 60분 예측)에서 두드러진다.
• 정보 융합 모듈(IFM)은 핵심적이다: 단지 동적 입력만을 사용할 경우 성능 저하가 심각하게 발생하여 장기 패턴 통합의 중요성을 입증한다.
• 그래프 정규화는 정적 그래프 품질을 향상시키지만, 정규화 없이도 AGCNR와 같은 강력한 베이스라인을 능가하므로 프레임워크의 본질적 강건성을 시사한다.
• 시각화 결과 동적 그래프가 사전 정의된 그래프 구조에 가까운 단기 패턴을 학습하고 있으며, 다양한 시간대에서 유사한 고가중치 간선이 반복됨을 확인했다.
• 동적 그래프 행렬은 짧은 시간 간격 동안 높은 유사성을 보이며, 이는 모델이 점진적으로 변화하는 안정적인 단기 종속성을 포착하고 있음을 확인한다.