[논문 리뷰] Sparse Graph Learning from Spatiotemporal Time Series

Andrea Cini, Daniele Zambon외 1명|arXiv (Cornell University)|2022. 05. 26.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 시공간 시간 시리즈에서 희소이고 구조적인 그래프를 학습하기 위해 그래프 인접성 행렬을 희소 그래프 위의 이산 분포로 모델링하는 확률적, 점수 기반 프레임워크를 제안한다. 분산 감소 기반의 기울기 추정을 활용함으로써, 예측 성능을 극대화하면서도 계산 효율성과 희소성을 유지하는 엔드 투 엔드 미분 가능한 그래프 학습을 가능하게 하며, 합성 및 실세계 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Outstanding achievements of graph neural networks for spatiotemporal time series analysis show that relational constraints introduce an effective inductive bias into neural forecasting architectures. Often, however, the relational information characterizing the underlying data-generating process is unavailable and the practitioner is left with the problem of inferring from data which relational graph to use in the subsequent processing stages. We propose novel, principled - yet practical - probabilistic score-based methods that learn the relational dependencies as distributions over graphs while maximizing end-to-end the performance at task. The proposed graph learning framework is based on consolidated variance reduction techniques for Monte Carlo score-based gradient estimation, is theoretically grounded, and, as we show, effective in practice. In this paper, we focus on the time series forecasting problem and show that, by tailoring the gradient estimators to the graph learning problem, we are able to achieve state-of-the-art performance while controlling the sparsity of the learned graph and the computational scalability. We empirically assess the effectiveness of the proposed method on synthetic and real-world benchmarks, showing that the proposed solution can be used as a stand-alone graph identification procedure as well as a graph learning component of an end-to-end forecasting architecture.

연구 동기 및 목표

• 사전에 알려진 그래프가 없는 상황에서 시공간 시간 시리즈로부터 의미 있는 상관관계 구조를 학습하는 데 도전하는 것.
• GNN에서 효율적인 메시지 전달을 위한 희소 그래프를 생성할 수 있는, 미분 가능하고 확률적인 그래프 학습 프레임워크를 개발하는 것.
• 원칙적인 기울기 추정을 통해 높은 예측 성능와 계산 확장성, 구조적 인덕티브 바이어스 사이의 균형을 이루는 것.
• 그래프 구조와 예측 성능를 동시에 최적화하여 그래프 조건부 예측 모델의 엔드 투 엔드 학습을 가능하게 하는 것.

제안 방법

• 해당 방법은 인접성 행렬을 매개변수화된 분포 $\bm{p}_\theta$ 에서 유도된 이산 랜덤 변수로 모델링하여 확률적 그래프 생성을 가능하게 한다.
• 이산 샘플링 과정을 거쳐 기울기를 역전파할 수 있도록 분산 감소 기법을 적용한 점수 기반 기울기 추정을 사용한다. 이로써 엔드 투 엔드 학습이 가능해진다.
• 프레임워크는 희소 그래프를 샘플링하기 위해 소프트-톱-$K$ 선택 메커니즘(SNS)을 사용하며, 이는 상위 $K$개의 점수를 가진 간선들만 유지한다.
• 그래프 생성기는 샘플링된 그래프들에 대한 기대 손실을 최소화함으로써 후행 예측 성능를 극대화하도록 훈련된다.
• 훈련의 안정성과 기울기 품질 향상을 위해 온도 조절 샘플링과 점수의 소프트 클리핑 기법을 도입한다.
• 단독 그래프 식별뿐만 아니라, 메시지 전달 레이어를 포함한 GNN 기반 모델과 같은 엔드 투 엔드 예측 아키텍처에 통합 지원이 가능하다.

실험 결과

연구 질문

• RQ1 사전 지식 없이 시공간 시간 시리즈에서 의미 있는 희소 그래프를 학습할 수 있는, 미분 가능하고 확률적인 프레임워크는 가능한가?
• RQ2 효율적이고 희소한 GNN 추론을 지원할 수 있도록, 이산 그래프 구조에 대해 정확한 기울기 추정을 어떻게 달성할 수 있는가?
• RQ3 고정 또는 학습된 그래프에 비해 엔드 투 엔드 그래프 학습이 예측 성능 향상에 얼마나 기여하는가?
• RQ4 실세계 시공간 예측 작업에서 최신 기술 수준 성능를 달성하면서도 계산 효율성을 유지할 수 있는가?
• RQ5 주의 메커니즘 또는 다른 베이스라인과 비교했을 때, 학습된 그래프 구조는 희소성과 예측 정확도 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 AQI 및 교통 데이터를 포함한 합성 및 실세계 벤치마크에서 다단계 예측 성능에서 최신 기술 수준(SOTA)을 달성한다.
• PEMS-BAY 데이터셋에서, GTS 및 Satorras 등(2022)과 같은 강력한 베이스라인을 초월하여 RMSE 2.48을 기록했으며, 다음으로 좋은 방법의 RMSE 2.56보다 낮았다.
• 학습된 그래프는 일관되게 희소하며, SNS 모듈이 유의미한 $K$개의 간선들만 효과적으로 선택하여 GNN에서의 효율적 메시지 전달을 가능하게 한다.
• 다양한 아키텍처와 데이터셋에 걸쳐 뛰어난 성능을 보이며, 엔드 투 엔드 모델에서 그래프 학습 모듈로 사용했을 때도 일관된 예측 정확도 향상을 보였다.
• 제거 실험을 통해 분산 감소와 적절한 기울기 추정이 안정적인 훈련과 높은 성능에 필수적임을 확인했다.
• 합성 데이터에서 알려진 진짜 기준 그래프를 기반으로 검증한 결과, 이 프레임워크는 데이터의 진짜 기반 의존성을 반영하는 해석 가능한, 과제 최적화된 그래프 구조를 성공적으로 학습했다.