[논문 리뷰] Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

Zonghan Wu, Shirui Pan외 4명|arXiv (Cornell University)|2020. 05. 24.

Time Series Analysis and Forecasting참고 문헌 25인용 수 114

한 줄 요약

MTGNN은 변수 간의 잠재적 방향 관계를 자동으로 학습하고 그래프 학습, 그래프 컨볼루션, 시계열 컨볼루션 모듈을 공동으로 학습하여 다변량 시계열을 엔드 투 엔드로 예측한다.

ABSTRACT

Modeling multivariate time series has long been a subject that has attracted researchers from a diverse range of fields including economics, finance, and traffic. A basic assumption behind multivariate time series forecasting is that its variables depend on one another but, upon looking closely, it is fair to say that existing methods fail to fully exploit latent spatial dependencies between pairs of variables. In recent years, meanwhile, graph neural networks (GNNs) have shown high capability in handling relational dependencies. GNNs require well-defined graph structures for information propagation which means they cannot be applied directly for multivariate time series where the dependencies are not known in advance. In this paper, we propose a general graph neural network framework designed specifically for multivariate time series data. Our approach automatically extracts the uni-directed relations among variables through a graph learning module, into which external knowledge like variable attributes can be easily integrated. A novel mix-hop propagation layer and a dilated inception layer are further proposed to capture the spatial and temporal dependencies within the time series. The graph learning, graph convolution, and temporal convolution modules are jointly learned in an end-to-end framework. Experimental results show that our proposed model outperforms the state-of-the-art baseline methods on 3 of 4 benchmark datasets and achieves on-par performance with other approaches on two traffic datasets which provide extra structural information.

연구 동기 및 목표

• 시계열 변수들 간의 잠재적 상호의존성을 활용할 필요성을 동기 부여하거나 해결한다.
• 정해진 그래프가 있든 없든 다변량 시계열을 처리할 수 있는 일반적인 그래프 신경망 프레임워크를 개발한다.
• 희소하고 단방향 그래프 구조를 예측 모델과 함께 엔드 투 엔드 방식으로 학습한다.
• 그래프 컨볼루션을 통해 공간 의존성을 포착하고 시계열 컨볼루션을 통해 시간 의존성을 포착한다.
• 표준 벤치마크 데이터셋에서 최첨단 기준선 대비 예측 정확도를 향상시킨다.

제안 방법

• 세 가지 핵심 구성요소를 갖춘 MTGNN를 제안한다: 희소하고 단방향 인접 행렬을 적응적으로 학습하는 그래프 학습 층; 공간 정보를 융합하는 그래프 컨볼루션 모듈; 긴 범위의 시간 패턴을 포착하기 위한 확장 인셉션 설계를 가진 시계열 컨볼루션 모듈.
• 과도한 평활화를 방지하기 위해 노드의 원래 상태 일부를 유지하면서 여러 이웃 홉에서 정보를 집계하는 혼합 홉 전파 층을 사용한다.
• 다중 주파수 시간 패턴과 긴 시퀀스를 포착하기 위해 확장된 인셉션 층(커널 크기 1x2, 1x3, 1x6, 1x7)을 기반으로 한 시계열 컨볼루션 모듈을 사용한다.
• 그래프와 시계열 컨볼루션을 교차시키고 잔차 및 스킵 연결을 통해 학습 안정화를 도모하고 엔드투엔드 학습을 가능하게 한다.
• 프로그레시브 예측 시계열 길이로 점진적으로 학습하는 커리큘럼 러닝 전략과 큰 그래프를 다루고 메모리 사용량을 줄이기 위한 서브그래프 샘플링 방식을 도입한다.

실험 결과

연구 질문

• RQ1 명시적 그래프 구조가 없는 다변량 시계열로부터 학습 가능하고 희소하며 단방향인 그래프 구조를 발견할 수 있는가?
• RQ2 그래프 구조와 MTGNN의 엔드투엔드 공동 학습이 미리 정의된 그래프나 그래프가 없는 방법들보다 예측 정확도를 향상시키는가?
• RQ3 그래프 컨볼루션과 시계열 컨볼루션 모듈은 공간-시간 의존성을 포착하는 데 어떻게 서로를 보완하는가?
• RQ4 커리큘럼 러닝과 서브그래프 샘플링이 학습을 안정화하고 더 큰 그래프 확장을 가능하게 하는가?
• RQ5 표준 다변량 시계열 데이터셋에서 MTGNN의 성능은 최첨단 기준선에 비해 어떤가?

주요 결과

• MTGNN은 단일 스텝 예측에서 4개 벤치마크 데이터셋 중 3개에서 최첨단 기준선을 능가한다.
• 추가 구조 정보를 제공하는 두 개의 교통 데이터셋에서 다른 GNN 기반 접근법과 동등한 성능을 달성한다.
• 학습 가능한 그래프 학습 층은 방향 관계에 적합한 비대칭적이고 희소한 인접 행렬을 생성한다.
• 혼합 홉 전파 층과 확장 인셉션 시계열 모듈은 과도한 평활화를 완화하고 장기 예측을 가능하게 하면서 공간 및 시간 의존성을 효과적으로 포착한다.