[논문 리뷰] Dynamic Spatiotemporal Graph Neural Network with Tensor Network

Chengcheng Jia, Bo Wu외 1명|arXiv (Cornell University)|2020. 03. 12.

Advanced Graph Neural Networks참고 문헌 11인용 수 4

한 줄 요약

이 논문은 시간 시리즈 데이터의 동적 공간적 및 시간적 상관관계를 모델링하기 위해 공간 텐서 그래프(STG)와 시간 텐서 그래프(TTG)를 구성하는 동적 시공간 그래프 신경망(DSTGNN)을 제안한다. PEPS(프로젝티드 엔트angled 페어 스테이츠)를 사용하여 두 그래프를 공동 최적화함으로써, 저랭크 학습을 통해 파라미터를 감소시키고 METR-LA에서 15분 예측 시 4.43%의 MAPE를 기록하여 최신 기준 성능을 달성한다.

ABSTRACT

Dynamic spatial graph construction is a challenge in graph neural network (GNN) for time series data problems. Although some adaptive graphs are conceivable, only a 2D graph is embedded in the network to reflect the current spatial relation, regardless of all the previous situations. In this work, we generate a spatial tensor graph (STG) to collect all the dynamic spatial relations, as well as a temporal tensor graph (TTG) to find the latent pattern along time at each node. These two tensor graphs share the same nodes and edges, which leading us to explore their entangled correlations by Projected Entangled Pair States (PEPS) to optimize the two graphs. We experimentally compare the accuracy and time costing with the state-of-the-art GNN based methods on the public traffic datasets.

연구 동기 및 목표

• 시간 시리즈 데이터에 대한 GNN의 정적 공간 그래프의 한계를 해결하기 위해 동적 공간 관계를 모델링하는 것.
• 각 노드에서 잠재적인 시간적 상관관계를 포착하기 위해 노드별 시간 텐서 그래프(TTG)를 구성하는 것.
• 텐서 네트워크를 통해 공간적 및 시간적 그래프를 공동 최적화하여 그들의 얽힌 상관관계를 활용하는 것.
• PEPS를 통한 저랭크 텐서 분해를 통해 파라미터 수와 계산 복잡도를 감소시키는 것.
• 특히 교통 네트워크와 같은 동적 환경에서 시간 시리즈 예측 성능을 향상시키는 것.

제안 방법

• 시간 단계를 통해 동적 공간 관계를 인코딩하기 위해 3차원 텐서 𝒜 ∈ ℝ^{N×N×T}로 공간 텐서 그래프(STG)를 구성한다.
• 시간 시리즈 패턴 유사성을 사용하여 각 노드의 시간 의존성을 모델링하기 위해 3차원 텐서 ℬ ∈ ℝ^{N×T×T}로 시간 텐서 그래프(TTG)를 구축한다.
• STG와 TTG에서 고차원 컨볼루션을 수행하기 위해 터커 분해를 사용한 공간/시간 그래프 컨볼루션 레이어(STGCL)를 적용한다.
• 공동 최적화를 위해 PEPS(프로젝티드 엔트angled 페어 스테이츠)를 사용하여 STG와 TTG를 최적화함으로써, 저랭크 텐서 수축을 통해 파라미터 감소를 달성한다.
• 각 시간 단계에서 동적 그래프 표현을 정교화하기 위해 특이값 분해(SVD)와 정규화(ReLU, SoftMax)를 활용한다.
• PEPS를 전처리 모듈로 통합하여 STG와 TTG 간의 공유 상관관계를 추출하면서도 파라미터 수를 최소화한다.

실험 결과

연구 질문

• RQ1 정적 그래프에 비해 동적 공간 텐서 그래프(STG)가 시간 시리즈에서 변화하는 공간적 의존성을 더 잘 포착할 수 있는가?
• RQ2 노드별 시간 텐서 그래프(TTG)는 교통 데이터의 러시아워 주기와 같은 잠재적 시간 패턴을 효과적으로 모델링할 수 있는가?
• RQ3 PEPS를 통한 STG와 TTG의 공동 최적화가 성능 향상과 함께 파라미터 수 감소를 이룰 수 있는가?
• RQ4 제안된 DSTGNN 프레임워크는 최신 기준 GNN 기반 모델에 비해 교통 예측 작업에서 어떻게 성능을 내는가?
• RQ5 텐서 네트워크 기반 PEPS 메커니즘이 시공간 모델링에서 특징 표현 및 일반화 능력을 얼마나 향상시키는가?

주요 결과

• STG, TTG, PEPS를 모두 포함한 전체 DSTGNN 모델은 METR-LA에서 15분 예측 시 4.43%의 MAPE를 기록하여 모든 베이스라인을 능가한다.
• PEPS 없이 TTG만 포함한 경우 STG 전용 모델 대비 성능 향상이 이루어져 60분 예측 시 MAPE가 8.79%에서 8.10%로 감소한다.
• STG+TTG에 PEPS를 추가하면 60분 예측 시 MAPE가 8.29%에서 5.49%로 감소하여 공동 최적화의 효과를 입증한다.
• STG 전용 버전의 DSTGNN는 STGCN 및 Graph WaveNet보다 성능이 열 劣하므로 시간 모델링의 필요성을 시사한다.
• PEPS 모듈은 STG와 TTG 간의 저랭크 상관관계를 활용하여 모델 파라미터를 감소시켜 효율성을 향상시킨다.
• 15분 예측 시 2.75 MAE를 기록하여 Graph WaveNet(2.69 MAE)과 ARIMA(3.99 MAE)를 모두 초월하며 최신 기준 성능을 확인한다.