[논문 리뷰] Graph WaveNet for Deep Spatial-Temporal Graph Modeling

Zonghan Wu, Shirui Pan외 3명|arXiv (Cornell University)|2019. 05. 31.

Advanced Graph Neural Networks참고 문헌 26인용 수 70

한 줄 요약

Graph WaveNet은 자기적응 인접 행렬과 계층화된 확산 인과 합성을 통해 공간-시간 그래프를 모델링하여 효율적인 엔드-투-엔드 학습으로 최첨단 교통 예측을 달성합니다.

ABSTRACT

Spatial-temporal graph modeling is an important task to analyze the spatial relations and temporal trends of components in a system. Existing approaches mostly capture the spatial dependency on a fixed graph structure, assuming that the underlying relation between entities is pre-determined. However, the explicit graph structure (relation) does not necessarily reflect the true dependency and genuine relation may be missing due to the incomplete connections in the data. Furthermore, existing methods are ineffective to capture the temporal trends as the RNNs or CNNs employed in these methods cannot capture long-range temporal sequences. To overcome these limitations, we propose in this paper a novel graph neural network architecture, Graph WaveNet, for spatial-temporal graph modeling. By developing a novel adaptive dependency matrix and learn it through node embedding, our model can precisely capture the hidden spatial dependency in the data. With a stacked dilated 1D convolution component whose receptive field grows exponentially as the number of layers increases, Graph WaveNet is able to handle very long sequences. These two components are integrated seamlessly in a unified framework and the whole framework is learned in an end-to-end manner. Experimental results on two public traffic network datasets, METR-LA and PEMS-BAY, demonstrate the superior performance of our algorithm.

연구 동기 및 목표

• 공간-시간 모델링에서 고정 그래프 구조의 한계 해결.
• 데이터로부터 직접 숨겨진 공간 의존성을 학습 가능하게 함.
• RNN 없이도 장기 시계열 의존성을 효율적으로 포착.
• 그래프 합성(convolution)과 확장 인과 합성을 엔드투엔드 프레임워크로 통합.

제안 방법

• 노드 임베딩에서 학習된 자기적응 인접 행렬을 사용하는 그래프 컨볼루션 계층 도입.
• 공간 의존성을 모델링하기 위해 확산 기반 그래프 합성과 자기적응 그래프 합성을 결합.
• 장기 범위의 시간 패턴을 캡처하기 위해 적층된 확장 인과 합성(Gated TCN) 사용.
• 공간-시간 계층을 잔차 및 스킵 연결과 함께 쌓아 올린 통합 엔드투엔드 프레임워크.
• 트레이닝-추론 불일치를 피하기 위해 다중 스텝 예측을 공동으로 학습.
• 레이드 백 없이 하나의 순방향 패스에서 모든 T 스텝의 예측을 출력.

실험 결과

연구 질문

• RQ1 자기적응 인접 행렬이 고정 그래프를 넘어 숨겨진 공간 의존성을 발견할 수 있는가?
• RQ2 적응형 공간 연결과 확장된 시계열 합성을 통합하면 장기 예측이 개선되는가?
• RQ3 그래프 WaveNet이 교통 데이터셋에서 정확도와 효율성 측면에서 기존의 공간-시간 모델과 어떻게 비교되는가?

주요 결과

Dataset	Model	15 min MAE	15 min RMSE	15 min MAPE	30 min MAE	30 min RMSE	30 min MAPE	60 min MAE	60 min RMSE	60 min MAPE
METR-LA	ARIMA	3.99	8.21	9.60%	5.15	10.45	12.70%	6.90	13.23	17.40%
METR-LA	FC-LSTM	3.44	6.30	9.60%	3.77	7.23	10.90%	4.37	8.69	13.20%
METR-LA	WaveNet	2.99	5.89	8.04%	3.59	7.28	10.25%	4.45	8.93	13.62%
METR-LA	DCRNN	2.77	5.38	7.30%	3.15	6.45	8.80%	3.60	7.60	10.50%
METR-LA	GGRU	2.71	5.24	6.99%	3.12	6.36	8.56%	3.64	7.65	10.62%
METR-LA	STGCN	2.88	5.74	7.62%	3.47	7.24	9.57%	4.59	9.40	12.70%
METR-LA	Graph WaveNet	2.69	5.15	6.90%	3.07	6.22	8.37%	3.53	7.37	10.01%
PEMS-BAY	ARIMA	1.62	3.30	3.50%	2.33	4.76	5.40%	3.38	6.50	8.30%
PEMS-BAY	FC-LSTM	2.05	4.19	4.80%	2.20	4.55	5.20%	2.37	4.96	5.70%
PEMS-BAY	WaveNet	1.39	3.01	2.91%	1.83	4.21	4.16%	2.35	5.43	5.87%
PEMS-BAY	DCRNN	1.38	2.95	2.90%	1.74	3.97	3.90%	2.07	4.74	4.90%
PEMS-BAY	STGCN	1.36	2.96	2.90%	1.81	4.27	4.17%	2.49	5.69	5.79%
PEMS-BAY	Graph WaveNet	1.30	2.74	2.73%	1.63	3.70	3.67%	1.95	4.52	4.63%

• Graph WaveNet은 METR-LA 및 PEMS-BAY에서 15, 30, 60분 예측에서 최첨단 결과를 달성했다.
• 전방-후방 적응 인접 구성은 두 데이터셋 모두에서 최상의 성능을 보인다.
• 그래프 구조가 없을 때도 적응형-전방 구성만으로도 성능이 뛰어나며 전방-전방 구성에 근접한다.
• 그래프 WaveNet은 추론 속도가 더 빠르고 학습 속도는 DCRNN보다 대폭 빠르며, 많은 베이스라인보다 더 정확하다.
• 자기적응 인접 행렬을 학습하면 영향력 있는 노드가 드러나고 숨겨진 공간 의존성이 밝혀진다.
• 모델은 WaveNet 및 STGCN에 비해 멀티 스텝 예측에서 안정적으로 개선된다.