[논문 리뷰] Graph Attention Recurrent Neural Networks for Correlated Time Series Forecasting -- Full version

Razvan-Gabriel Cirstea, Chenjuan Guo외 1명|arXiv (Cornell University)|2021. 03. 19.

Time Series Analysis and Forecasting참고 문헌 36인용 수 4

한 줄 요약

이 논문은 공간적 근접성 기반 그래프 위에서 다중 헤드 어텐션을 통해 동적이고 적응형 인접 행렬을 학습함으로써 상관관계가 있는 시계열 예측을 향상시키기 위해 그래프 어텐션 순환 신경망(GA-RNNs)을 제안한다. 이 방법은 이러한 시간에 따라 변화하는 어텐션 가중치를 순환 신경망(RNN)에 통합하여 변화하는 공간-시간 상관관계를 모델링하며, 특히 실제 도로 속도 데이터에서 단기 예측에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

We consider a setting where multiple entities inter-act with each other over time and the time-varying statuses of the entities are represented as multiple correlated time series. For example, speed sensors are deployed in different locations in a road network, where the speed of a specific location across time is captured by the corresponding sensor as a time series, resulting in multiple speed time series from different locations, which are often correlated. To enable accurate forecasting on correlated time series, we proposes graph attention recurrent neural networks.First, we build a graph among different entities by taking into account spatial proximity and employ a multi-head attention mechanism to derive adaptive weight matrices for the graph to capture the correlations among vertices (e.g., speeds at different locations) at different timestamps. Second, we employ recurrent neural networks to take into account temporal dependency while taking into account the adaptive weight matrices learned from the first step to consider the correlations among time series.Experiments on a large real-world speed time series data set suggest that the proposed method is effective and outperforms the state-of-the-art in most settings. This manuscript provides a full version of a workshop paper [1].

연구 동기 및 목표

• 상관관계가 있는 시계열 간의 동적 공간-시간 상관관계를 모델링하는 데 있어 정적 그래프 구조의 한계를 해결하기 위해.
• 엔티티 간의 변화하는 상호작용을 포착하여 스마트 교통 시스템과 같은 복잡한 사이버-물리 시스템의 예측 정확도를 향상시키기 위해.
• 적응형 어텐션 기반 인접 행렬을 그래프 기반 RNN에 통합하는 일반적인 프레임워크를 개발하기 위해.
• 고정된 인접 행렬 대신 어텐션 유도의 시간에 따라 변화하는 인접 행렬을 도입함으로써 더 견고하고 정확한 예측을 가능하게 하기 위해.

제안 방법

• 엔티티(예: 속도 센서) 간의 공간적 근접성을 기반으로 그래프를 구축하며, 정점은 엔티티를 나타내고, 근접한 엔티티 간에 간선을 연결한다.
• 그래프에 다중 헤드 자기 어텐션을 적용하여 각 타임스탬프에서 이웃 정점들에 할당되는 중요도를 적응적으로 학습하는 어텐션 행렬을 얻는다.
• 학습된 어텐션 행렬이 그래프 기반 RNN의 정적 인접 행렬을 대체하여 변화하는 동적 인접 행렬을 생성하며, 이는 변화하는 상관관계를 반영한다.
• 순환 신경망(GRU 또는 LSTM 등)을 수정하여 그래프 컨볼루션 또는 확산 컨볼루션 연산을 통해 이러한 적응형 인접 행렬을 통합한다.
• 이전 L개 타임스탬프의 데이터에서 역사적 정보를 사용하여 P단계 예측 수평선 동안 미래 시계열 값을 예측하기 위해 엔드 투 엔드로 학습한다.
• 이 방법은 GCN 또는 DCNN처럼 인접 행렬에 의존하는 모든 그래프 컨볼루션 방법과 통합될 수 있으며, 일반적인 응용이 가능하다.

실험 결과

연구 질문

• RQ1 어떻게 어텐션 메커니즘이 그래프 구조 설정에서 상관관계가 있는 시계열 간의 동적이고 시간에 따라 변화하는 관계를 효과적으로 학습할 수 있는가?
• RQ2 정적 인접 행렬을 어텐션 기반으로 유도된 적응형 인접 행렬로 대체할 경우 RNN 기반 모델의 예측 성능 향상 정도는 어떠한가?
• RQ3 제안된 방법이 단기 및 장기 예측에서 상관관계가 있는 시계열 예측의 최신 기술 모델을 얼마나 뛰어나게 하는가?
• RQ4 어떤 정도로 어텐션 메커니즘이 도로 간 교통 혼잡이 확산되는 것과 같은 실제 세계의 역학을 반영하는 의미 있는, 맥락 기반 상호작용을 포착할 수 있는가?

주요 결과

• 제안된 GA-RNN 모델은 대규모 실생활 도로 속도 데이터셋에서 최신 기술 모델을 뛰어넘으며, 특히 단기 예측 과제에서 뛰어난 성능을 보였다.
• 그래프 어텐션을 RNN에 통합함으로써 시계열 간의 동적이고 변화하는 상관관계를 포착함으로써 더 정확한 예측이 가능해졌다.
• 어텐션 메커니즘이 추가적인 계산 비용을 유발하며, 추론 시간은 기준 모델인 GCRNN의 약 350초 대비 약 401초로 증가했다.
• 모델은 복잡하고 비선형적인 공간-시간 상관관계를 포함한 실생활 시스템 모델링에서 뛰어난 견고성과 일반화 능력을 보였다.
• 고정된 사전 계산된 그래프를 사용하는 모델 대비 적응형 인접 행렬의 사용이 성능 향상에 크게 기여함을 입증하며, 동적 상호작용 모델링의 중요성을 강조했다.