[논문 리뷰] A Study of Joint Graph Inference and Forecasting

Daniel Zügner, François-Xavier Aubet외 4명|arXiv (Cornell University)|2021. 09. 10.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 인위적 및 실세계 다변량 시계열 자료에서 네 가지 통합 그래프 추론 및 예측 모델(MTGNN, GDN, GTS, NRI)을 평가하여, 가시화되지 않은 진정한 관계가 존재할 경우 유연한 그래프 학습이 예측 정확도를 향상시킨다는 것을 입증한다. 저자들은 기존 모델의 최상의 구성 요소를 융합한 하이브리드 아키텍처를 제안하며, 학습 가능한 희박한 그래프를 사용한 엔드 투 엔드 훈련이 다양한 데이터셋에서 뛰어난 성능을 낸다는 것을 보여준다.

ABSTRACT

We study a recent class of models which uses graph neural networks (GNNs) to improve forecasting in multivariate time series. The core assumption behind these models is that there is a latent graph between the time series (nodes) that governs the evolution of the multivariate time series. By parameterizing a graph in a differentiable way, the models aim to improve forecasting quality. We compare four recent models of this class on the forecasting task. Further, we perform ablations to study their behavior under changing conditions, e.g., when disabling the graph-learning modules and providing the ground-truth relations instead. Based on our findings, we propose novel ways of combining the existing architectures.

연구 동기 및 목표

• 다변량 시계열 예측에서 최근 네 가지 통합 그래프 추론 및 예측 모델(MTGNN, GDN, GTS, NRI)의 성능을 평가하는 것.
• 기본 그래프 또는 고정 그래프를 사용할 때와 비교해 통합 그래프 학습이 예측 정확도를 향상시키는 조건을 조사하는 것.
• 학습 런이 반복될 때 추론된 그래프의 일관성과 질적 특성, 그리고 가용한 경우 진정한 관계와의 유사성을 분석하는 것.
• 제거 실험을 통해 기존 모델의 아키텍처적 강점과 약점을 규명하는 것.
• 기존 모델에서 가장 우수한 성능을 보인 구성 요소를 융합해 향상된 예측 성능을 낼 수 있는 새로운 하이브리드 아키텍처를 제안하는 것.

제안 방법

• 모델들은 시계열 표현 간의 쌍별 유사도 계산(예: 내적 또는 피드포워드 네트워크)을 통해 유연한 그래프 학습을 통해 인접 행렬을 추론한다.
• 그래프 학습 모듈은 상위-K 선택(MTGNN, GDN) 또는 Gumbel-Softmax를 통한 유연한 샘플링(NRI, GTS)을 사용해 희박한 인접 행렬을 생성한다.
• 예측 모듈은 추론된 그래프를 기반으로 그래프 신경망(GNN)을 적용해 정보를 전파하고 향후 시점의 값을 예측한다.
• 모델들은 12단계 예측 수평선에서 평균 절대 오차(MAE) 손실을 사용해 엔드 투 엔드로 훈련된다.
• 제거 실험을 통해 그래프 학습을 비활성화하고 진정한 그래프로 대체하여 그래프 추론이 예측 성능에 기여하는 정도를 분리 분석한다.
• Gumbel-Softmax 샘플링과 상위-K 희박화를 조합한 하이브리드 아키텍처를 제안한다.

실험 결과

연구 질문

• RQ1 기본 그래프 또는 고정 그래프를 사용할 때와 비교해 통합 그래프 추론 및 예측이 어떤 상황에서 예측 정확도를 향상시키는가?
• RQ2 다양한 데이터셋과 아키텍처 선택에 따라 기존의 통합 추론-예측 모델의 성능와 행동은 어떻게 비교되는가?
• RQ3 여러 학습 런 동안 추론된 그래프는 얼마나 일관성이 있으며, 진정한 기반 관계가 알려져 있을 경우 그와 유사한가?
• RQ4 어떤 아키텍처 구성 요소가 예측 성능에 가장 기여하며, 어떻게 효과적으로 융합할 수 있는가?

주요 결과

• 실세계 데이터셋(METR-LA, PEMS-BAY)에서 진정한 그래프를 지도로 사용할 경우 통합 그래프 추론이 예측 성능을 크게 향상시킨다.
• 진정한 관계가 알려진 인위적 데이터셋에서는 기저 그래프 구조(SBM 또는 DAG)를 올바르게 추론하는 모델이 그렇지 않은 모델보다 상당히 낮은 MAE를 기록한다.
• Gumbel-Softmax 기반 그래프 학습(NRI, GTS)은 특히 데이터가 적은 환경에서 상위-K 방법보다 더 일관성 있고 안정적인 그래프를 생성한다.
• 제거 실험 결과 그래프 학습을 비활성화하고 진정한 그래프로 대체할 경우 예측 성능이 크게 떨어지며, 이는 모델이 알려진 구조를 초월해 임무에 특화된 의미 있는 관계를 학습하고 있음을 시사한다.
• 제안된 하이브리드 아키텍처는 Gumbel-Softmax 샘플링과 상위-K 희박화를 융합하여 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 개별 모델을 능가한다.
• 잠재적 또는 복잡한 의존성(예: 확산 기반 또는 DAG 기반 인위적 데이터)이 존재하는 상황에서는 고정 또는 수작업으로 구성된 그래프에 의존하는 모델보다 유연한 그래프 학습을 갖춘 모델이 더 잘 일반화된다.