[논문 리뷰] Multivariate Time Series Forecasting with Latent Graph Inference

Victor García Satorras, Syama Sundar Rangapuram외 1명|arXiv (Cornell University)|2022. 03. 07.

Time Series Analysis and Forecasting인용 수 11

한 줄 요약

이 논문은 다변량 시계열 예측을 위한 모듈러한 그래프 신경망 프레임워크를 제안하며, 시계열 간의 은닉된 상관관계를 동적으로 추론한다. 보조 노드를 도입해 이원 그래프를 형성함으로써 계산 복잡도를 O(N²)에서 O(NK)로 감소시키며, 정확도 손실을 최소화한다. 다양한 데이터셋에서 최신 기술 대비 정확도와 효율성 면에서 뛰어나거나 동등한 성능을 기록한다.

ABSTRACT

This paper introduces a new approach for Multivariate Time Series forecasting that jointly infers and leverages relations among time series. Its modularity allows it to be integrated with current univariate methods. Our approach allows to trade-off accuracy and computational efficiency gradually via offering on one extreme inference of a potentially fully-connected graph or on another extreme a bipartite graph. In the potentially fully-connected case we consider all pair-wise interactions among time-series which yields the best forecasting accuracy. Conversely, the bipartite case leverages the dependency structure by inter-communicating the N time series through a small set of K auxiliary nodes that we introduce. This reduces the time and memory complexity w.r.t. previous graph inference methods from O(N^2) to O(NK) with a small trade-off in accuracy. We demonstrate the effectiveness of our model in a variety of datasets where both of its variants perform better or very competitively to previous graph inference methods in terms of forecasting accuracy and time efficiency.

연구 동기 및 목표

• 사전 정의된 그래프에 의존하지 않고 다변량 시계열 간의 복잡한 비선형 상관관계를 모델링하는 과제를 해결한다.
• 시계열 수에 따라 제곱적으로 증가하는 그래프 신경망(GNN)의 전체 그래프 추론에 따른 계산 부담을 줄인다.
• 기존 단변량 예측 모델에 모듈러한 설계를 통해 원활한 통합을 가능하게 한다.
• 완전히 연결된 그래프와 이원 그래프 간의 연속적인 트레이드오프를 允허함으로써 예측 정확도와 계산 효율성을 균형 잡는다.
• 시간에 따라 변화하는 시계열 간 관계를 포착하기 위해 동적이고 시간 적응형 그래프 추론의 효과성을 입증한다.

제안 방법

• 고정된 인접 행렬에 의존하지 않고 추론 중 시계열 임bedding 간의 상관관계를 학습하는 동적 은닉 그래프 추론 메커니즘을 도입한다.
• 두 가지 변형을 제안한다: 최대 정확도를 위한 완전히 연결된(FC-GNN) 그래프와 K개의 보조 노드를 사용해 복잡도를 낮춘 이원(BP-GNN) 그래프.
• 메시지 전파 메커니즘을 통해 GNN에서 시간 시리즈 간 정보를 전파하며, 주의 메커니즘 또는 학습 가능한 가중치를 사용해 간선의 중요도를 결정한다.
• 입력 타임스텝마다 동적으로 은닉 그래프를 구성함으로써 시간에 따라 변화하는 상관관계를 영리하게 모델링할 수 있다.
• 원본 N개의 시리즈와 K개의 보조 노드 간의 상호작용에 국한함으로써 계산 복잡도를 O(N²)에서 O(NK)로 감소시킨다. 여기서 K ≪ N이다.
• 이미 존재하는 단변량 예측 모델(예: DeepAR)에 그래프 모듈을 플러그인 형태로 통합해 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 사전 정의된 인접 행렬이 필요 없이도 동적 은닉 그래프 추론이 다변량 시계열 예측 정확도를 향상시킬 수 있는가?
• RQ2 보조 노드를 포함한 이원 그래프 구조는 계산 효율성과 예측 정확도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 순환적 또는 군집화된 상관관계와 같은 다양한 상관관계 구조를 가진 다양한 데이터셋에 대해 모델이 얼마나 일반화되는가?
• RQ4 보조 노드 수(K)가 모델 성능과 확장성에 어떤 영향을 미치는가?
• RQ5 실제 및 합성 데이터에서 시간에 따라 변화하는 시계열 간 관계를 효과적으로 추론하고 적응할 수 있는가?

주요 결과

• 완전히 연결된 GNN 변형(FC-GNN)은 시뮬레이션 데이터셋에서 가장 낮은 MAE를 기록했으며, 순환 및 상관된 사인파 그래프에서 정확히 진짜 인접 행렬을 복원했다.
• K=4개의 보조 노드를 가진 이원 GNN 변형(BP-GNN)은 조밀한 그래프에서 FC-GNN와 유사한 정확도를 달성했고, 학습되지 않은 그래프 기반 모델(Neural Edge GNN, NE-GNN)보다 뚜렷이 뛰어난 성능을 보였다.
• METR-LA 교통 예측 데이터셋에서 BP-GNN는 FC-GNN에 비해 예측 정확도는 유지하면서도 프로퍼티 타임과 간선 수를 줄였고, 특히 N이 증가함에 따라 그 효과가 두드러졌다.
• K를 늘릴수록 희박한 그래프(예: 순환 그래프)에서 성능 향상이 이루어지지만, 작은 K 값 이후에는 성능 향상의 폭이 점점 줄어들어 낮은 K에서 유리한 트레이드오프가 성립함을 시사했다.
• 모델은 동적 그래프 추론 행동을 보였으며, 학습된 인접 행렬이 시간에 따라 변화함으로써 변화하는 상관관계에 적응 가능함을 확인했다.
• 확장성 분석 결과, BP-GNN는 간선 수를 O(N²)에서 O(NK)로 줄였고, 프로퍼티 시간은 N에 대해 선형 증가함을 확인했으며, 이는 FC-GNN의 제곱 증가와는 대조된다.