[논문 리뷰] Discrete Graph Structure Learning for Forecasting Multiple Time Series

Chao Shang, Jie Chen외 1명|arXiv (Cornell University)|2021. 01. 18.

Time Series Analysis and Forecasting참고 문헌 30인용 수 20

한 줄 요약

이 논문은 그래프 신경망(GNNs)을 사용하여 다변량 시계열 예측을 위한 유일수준 미분 가능 그래프 구조 학습 방법을 제안한다. 여기서 그래프 인접행렬은 베르누이 확률의 신경망 파arameterization을 통해 종단간 학습된다. 이 방법은 LDS와 같은 이중수준 최적화 방법보다 훨씬 낮은 학습 비용으로 최신 기술 성능(SOTA)을 달성하면서도, 학습된 구조가 사전 지식과 일치하도록 정규화를 가능하게 한다.

ABSTRACT

Time series forecasting is an extensively studied subject in statistics, economics, and computer science. Exploration of the correlation and causation among the variables in a multivariate time series shows promise in enhancing the performance of a time series model. When using deep neural networks as forecasting models, we hypothesize that exploiting the pairwise information among multiple (multivariate) time series also improves their forecast. If an explicit graph structure is known, graph neural networks (GNNs) have been demonstrated as powerful tools to exploit the structure. In this work, we propose learning the structure simultaneously with the GNN if the graph is unknown. We cast the problem as learning a probabilistic graph model through optimizing the mean performance over the graph distribution. The distribution is parameterized by a neural network so that discrete graphs can be sampled differentiably through reparameterization. Empirical evaluations show that our method is simpler, more efficient, and better performing than a recently proposed bilevel learning approach for graph structure learning, as well as a broad array of forecasting models, either deep or non-deep learning based, and graph or non-graph based.

연구 동기 및 목표

• 진정한 그래프가 알려져 있거나 이용 가능하지 않은 경우, 다변량 시계열 예측을 위한 그래프 구조 학습의 과제를 해결하기 위해.
• LDS와 같은 이중수준 최적화 방법의 높은 계산 비용과 확장성 한계를 줄이기 위해.
• 예측 성능 향상을 위해, 미분 가능이고 이산적인 그래프 샘플링을 통한 종단간 GNN 학습을 가능하게 하기 위해.
• 정규화를 통해 구조적 사전 지식을 통합하여 예측 정확도와 그래프 충실도 사이의 균형을 이루기 위해.

제안 방법

• 샘플된 이산적 그래프 위에서의 기대 검증 손실을 최소화하는 방식으로 그래프 구조 학습 문제를 유일수준 최적화 문제로 공식화한다.
• 그래프 확률 행렬 θ를 신경망을 사용해 파arameterization하여 재정의 기법을 통한 미분 가능한 샘플링을 가능하게 한다.
• θ(w)로 파arameterized된 베르누이 분포에서 이산적 인접행렬 A를 샘플링하기 위해 구름-소프트맥스 기법을 사용한다. 여기서 w는 GNN 및 그래프 파aram터를 포함한다.
• 학습된 θ와 사전 그래프 A^a 사이의 교차 엔트로피와 함께 예측 오차(MAE)를 균형 잡는 정규화 항을 도입한다.
• 이중수준 방법에서처럼 두 번째 검증 세트가 필요로 하지 않는, 단일 검증 세트를 사용하여 하이퍼파ram터 튜닝을 수행한다.
• GNN과 그래프 구조의 효율적 공동 최적화를 가능하게 하기 위해, 미분 가능한 샘플링 과정을 거쳐 백프로파게이션을 통해 종단간 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 유일수준의 미분 가능 최적화 프레임워크는 시간 시계열 예측을 위한 그래프 구조 학습에서 LDS와 같은 이중수준 방법을 능가할 수 있는가?
• RQ2 학습 비용과 모델 크기 측면에서 이중수준 최적화와 비교해 본다면, 제안된 방법은 어떻게 스케일링되는가?
• RQ3 정규화를 통해 예측 정확도를 훼손하지 않은 채로 학습된 그래프와 알려진 구조적 사전 지식 간의 일치도를 어느 정도 향상시킬 수 있는가?
• RQ4 GNN과 그래프 구조를 종단간 공동으로 학습시키는 것이, 그래프를 고정하거나 비그래프 기반 방법을 사용하는 모델보다 더 나은 예측 성능을 내는가?

주요 결과

• 제안된 방법은 다양한 벤치마크에서 최신 기술 성능을 달성하며, 딥러닝 및 비딥러닝 모델뿐 아니라 LDS를 사용하는 그래프 기반 모델을 모두 능가한다.
• LDS에 의존하는 것과 비교해 학습 비용을 크게 줄였다. 이는 재귀적 동역학을 통한 체인 룰 미분에 의해 발생하는 높은 비용 때문였다.
• PMU 데이터에서 15분 예측 시 λ = 1일 때 MAE가 2.47e-4에 도달했으며, DCRNN(λ = ∞)를 능가하고 최고 성능 기준선과 동일한 성능을 달성했다.
• METR-LA와 PEMS-BAY에서 λ = 0.3으로 정규화를 적용했을 경우, 예측 정확도는 λ = 0일 때 근접한 최적 수준(5% 이내)을 유지하면서도, 사전 그래프와의 교차 엔트로피는 λ = 0일 때보다 80% 이상 감소시켰다.
• PMU 데이터에서 λ = 20일 때 학습된 그래프 구조는 사전 그래프와 평균 0.34의 교차 엔트로피를 보이며, 합성 k-NN 사전 지식과 강한 일치를 보였다.
• 지표 그래프 정보가 없더라도, 심지어 사전 지식이 합성적이거나 불완전한 경우에도, 예측 성능 향상을 위한 그래프 구조를 성공적으로 학습했다.