[논문 리뷰] GMAN: A Graph Multi-Attention Network for Traffic Prediction

Chuanpan Zheng, Xiaoliang Fan외 2명|arXiv (Cornell University)|2019. 11. 11.

Traffic Prediction and Management Techniques참고 문헌 34인용 수 87

한 줄 요약

GMAN은 공간, 시간, 변환 주의를 결합한 그래프 다중 주의 인코더-디코더 모델을 도입하여 도로 네트워크의 다단계 교통 상황 예측에서 long-term 정확도와 fault tolerance를 향상시킨다.

ABSTRACT

Long-term traffic prediction is highly challenging due to the complexity of traffic systems and the constantly changing nature of many impacting factors. In this paper, we focus on the spatio-temporal factors, and propose a graph multi-attention network (GMAN) to predict traffic conditions for time steps ahead at different locations on a road network graph. GMAN adapts an encoder-decoder architecture, where both the encoder and the decoder consist of multiple spatio-temporal attention blocks to model the impact of the spatio-temporal factors on traffic conditions. The encoder encodes the input traffic features and the decoder predicts the output sequence. Between the encoder and the decoder, a transform attention layer is applied to convert the encoded traffic features to generate the sequence representations of future time steps as the input of the decoder. The transform attention mechanism models the direct relationships between historical and future time steps that helps to alleviate the error propagation problem among prediction time steps. Experimental results on two real-world traffic prediction tasks (i.e., traffic volume prediction and traffic speed prediction) demonstrate the superiority of GMAN. In particular, in the 1 hour ahead prediction, GMAN outperforms state-of-the-art methods by up to 4% improvement in MAE measure. The source code is available at https://github.com/zhengchuanpan/GMAN.

연구 동기 및 목표

• 도로 네트워크의 동적 시공간 조건하에서 장기 교통 예측 동기 부여.
• 공간-시간 주의 블록으로 복합 상관관계를 모델링하는 인코더-디코더 아키텍처 개발.
• 오류 전파를 완화하기 위한 변환 주의 레이어를 도입.
• 그래프 구조와 시간 맥락을 포착하기 위한 공간 및 시간 임베딩 통합.
• GMAN을 실세계 교통량 및 속도 예측 데이터셋에서 평가하고 베이스라인과 비교.

제안 방법

• 인코더와 디코더 모두에서 L ST-Attention 블록을 가진 인코더-디코더 아키텍처 사용.
• node2vec 기반 공간 임베딩과 시간 임베딩을 결합한 ST-E 멤버링(STE) 도입.
• 공간 주의, 시간 주의, 게이트 융합으로 두 신호를 모두 병합하는 ST-Attention 블록 구현.
• 역사적 및 미래 단계 간의 직접 관계를 모델링하기 위한 인코더-디코더 사이의 변환 주의 레이어 도입.
• 대규모 그래프에서의 이차 복잡도 감소를 위한 그룹 내/그룹 간의 공간 주의 적용.
• 도로 네트워크 거리로 구성된 인접성과 지수적 희소화를 사용한 엔드투엔드 학습 및 MAE 손실 사용

실험 결과

연구 질문

• RQ1 교통 데이터의 더 긴 수평선에서 동적 공간 상관관계와 비선형 시간 의존성을 어떻게 모델링할 수 있는가?
• RQ2 ST 주의 및 변환 주의 레이어를 갖춘 인코더-디코더가 기존 그래프 기반 모델에 비해 장기 예측 정확도를 향상시키는가?
• RQ3 공간 정보와 시간 정보를 게이트 융합으로 결합하는 것이 교통 네트워크의 복잡한 시공간 의존성을 더 잘 포착하는가?
• RQ4 장기 예측에서 과거 기록이 누락되거나 손상되었을 때 GMAN의 결함 허용도는 어느 정도이며 어떻게 되는가?

주요 결과

데이터	방법	15분 MAE	15분 RMSE	15분 MAPE	30분 MAE	30분 RMSE	30분 MAPE	1시간 MAE	1시간 RMSE	1시간 MAPE
Xiamen	ARIMA	14.81	25.03	18.05%	18.83	33.09	22.19%	26.58	46.32	30.76%
Xiamen	SVR	13.05	21.47	16.46%	15.66	26.34	19.68%	20.69	35.86	26.24%
Xiamen	FNN	13.55	22.47	16.72%	16.80	28.71	19.97%	22.90	39.51	26.19%
Xiamen	FC-LSTM	12.51	20.79	16.08%	13.74	23.93	17.23%	16.02	29.57	19.33%
Xiamen	STGCN	11.76	19.94	14.93%	13.19	23.29	16.36%	15.83	29.40	18.66%
Xiamen	DCRNN	11.67	19.40	14.85%	12.76	22.20	15.99%	14.30	25.86	17.17%
Xiamen	Graph WaveNet	11.26	19.57	14.39%	12.06	21.61	15.39%	13.33	24.77	16.50%
Xiamen	GMAN	-	-	-	-	-	-	-	-	-
PeMS	ARIMA	1.62	3.30	3.50%	2.33	4.76	5.40%	3.38	6.50	8.30%
PeMS	SVR	1.85	3.59	3.80%	2.48	5.18	5.50%	3.28	7.08	8.00%
PeMS	FNN	2.20	4.42	5.19%	2.30	4.63	5.43%	2.46	4.98	5.89%
PeMS	FC-LSTM	2.05	4.19	4.80%	2.20	4.55	5.20%	2.37	4.96	5.70%
PeMS	STGCN	1.36	2.96	2.90%	1.81	4.27	4.17%	2.49	5.69	5.79%
PeMS	DCRNN	1.38	2.95	2.90%	1.74	3.97	3.90%	2.07	4.74	4.90%
PeMS	Graph WaveNet	1.30	2.74	2.73%	1.63	3.70	3.67%	1.95	4.52	4.63%
PeMS	GMAN	-	-	-	-	-	-	-	-	-

• GMAN은 두 개의 실제 데이터셋(Xiamen: 교통량, PeMS: 교통 속도)에서 최첨단 성능을 달성했다.
• 1시간 ahead 예측에서 GMAN은 베이스라인 대비 MAE를 최대 4%까지 개선하고 장기 수평선 성능이 우수함을 보였다.
• GMAN은 과거 데이터가 부분적으로 누락된 경우에도 베이스라인 방법들보다 더 높은 결함 허용도를 보였다.
• 아블레이션 연구에서 공간 주의, 시간 주의, 게이트 융합, 변환 주의가 각각 성능에 기여하며, 특히 변환 주의가 오류 전파를 완화하는 것이 두드러졌다.
• GMAN은 Graph WaveNet에 비해 학습 및 추론 시간이 경쟁력을 유지하고, DCRNN과 같은 순환 기법보다 빠르다.