[論文レビュー] GMAN: A Graph Multi-Attention Network for Traffic Prediction

Chuanpan Zheng, Xiaoliang Fan+2 more|arXiv (Cornell University)|Nov 11, 2019

Traffic Prediction and Management Techniques参考文献 34被引用数 87

ひとこと要約

GMAN は空間的・時間的および変換 attention を備えたグラフ型マルチアテンション エンコーダ-デコーダーモデルを導入し、道路ネットワーク上のマルチステップ交通状況を予測することで長期的な精度とフォールトトレランスを向上させる。

ABSTRACT

Long-term traffic prediction is highly challenging due to the complexity of traffic systems and the constantly changing nature of many impacting factors. In this paper, we focus on the spatio-temporal factors, and propose a graph multi-attention network (GMAN) to predict traffic conditions for time steps ahead at different locations on a road network graph. GMAN adapts an encoder-decoder architecture, where both the encoder and the decoder consist of multiple spatio-temporal attention blocks to model the impact of the spatio-temporal factors on traffic conditions. The encoder encodes the input traffic features and the decoder predicts the output sequence. Between the encoder and the decoder, a transform attention layer is applied to convert the encoded traffic features to generate the sequence representations of future time steps as the input of the decoder. The transform attention mechanism models the direct relationships between historical and future time steps that helps to alleviate the error propagation problem among prediction time steps. Experimental results on two real-world traffic prediction tasks (i.e., traffic volume prediction and traffic speed prediction) demonstrate the superiority of GMAN. In particular, in the 1 hour ahead prediction, GMAN outperforms state-of-the-art methods by up to 4% improvement in MAE measure. The source code is available at https://github.com/zhengchuanpan/GMAN.

研究の動機と目的

• 動的な時空条件下での長期的な交通予測の動機付け。
• 複雑な相関をモデル化するための時空間注意ブロックを備えたエンコーダ-デコーダアーキテクチャの開発。
• 予測ステップ間の誤差伝搬を緩和するための transform attention 層の組み込み。
• グラフ構造と時間文脈を捉えるための空間的・時間的埋め込みの統合。
• 実世界の交通量および交通速度の予測データセットで GMAN を評価し、ベースラインと比較。

提案手法

• エンコーダとデコーダの両方に L ST-Attention ブロックを用いたエンコーダ-デコーダアーキテクチャを使用。
• ノード2vec に基づく空間埋め込みと時間埋め込みを組み合わせた時空間埋め込み（STE）を組み込む。
• 空間注意、時間注意、ゲート結合を用いて両信号を統合する ST-Attention ブロックを実装。
• エンコーダとデコーダの間に transform attention 層を導入し、過去ステップと未来ステップ間の直接的関係をモデル化。
• 大規模グラフの二次の注意計算量を削減するためにグループ内外の空間注意を適用。
• 道路網の距離から構築された隣接行列と指数的スパース化を用いてエンドツーエンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 交通データの長期的な視野における動的な空間相関と非線形な時間依存性をどうモデル化できるか。
• RQ2 時空間注意と transform attention 層を備えたエンコーダ-デコーダが、既存のグラフベースモデルと比較して長期予測精度を向上させるか。
• RQ3 空間情報と時間情報をゲート結合して統合することが、交通ネットワークの複雑な時空間依存性をよりよく捕捉できるか。
• RQ4 長期予測で歴史的観測が欠損または破損している場合の GMAN のフォールトトレランスはどの程度か。

主な発見

データ	手法	15分 MAE	15分 RMSE	15分 MAPE	30分 MAE	30分 RMSE	30分 MAPE	1時間 MAE	1時間 RMSE	1時間 MAPE
Xiamen	ARIMA	14.81	25.03	18.05%	18.83	33.09	22.19%	26.58	46.32	30.76%
Xiamen	SVR	13.05	21.47	16.46%	15.66	26.34	19.68%	20.69	35.86	26.24%
Xiamen	FNN	13.55	22.47	16.72%	16.80	28.71	19.97%	22.90	39.51	26.19%
Xiamen	FC-LSTM	12.51	20.79	16.08%	13.74	23.93	17.23%	16.02	29.57	19.33%
Xiamen	STGCN	11.76	19.94	14.93%	13.19	23.29	16.36%	15.83	29.40	18.66%
Xiamen	DCRNN	11.67	19.40	14.85%	12.76	22.20	15.99%	14.30	25.86	17.17%
Xiamen	Graph WaveNet	11.26	19.57	14.39%	12.06	21.61	15.39%	13.33	24.77	16.50%
Xiamen	GMAN	-	-	-	-	-	-	-	-	-
PeMS	ARIMA	1.62	3.30	3.50%	2.33	4.76	5.40%	3.38	6.50	8.30%
PeMS	SVR	1.85	3.59	3.80%	2.48	5.18	5.50%	3.28	7.08	8.00%
PeMS	FNN	2.20	4.42	5.19%	2.30	4.63	5.43%	2.46	4.98	5.89%
PeMS	FC-LSTM	2.05	4.19	4.80%	2.20	4.55	5.20%	2.37	4.96	5.70%
PeMS	STGCN	1.36	2.96	2.90%	1.81	4.27	4.17%	2.49	5.69	5.79%
PeMS	DCRNN	1.38	2.95	2.90%	1.74	3.97	3.90%	2.07	4.74	4.90%
PeMS	Graph WaveNet	1.30	2.74	2.73%	1.63	3.70	3.67%	1.95	4.52	4.63%
PeMS	GMAN	-	-	-	-	-	-	-	-	-

• GMAN は実世界のデータセット2つで最先端の性能を達成（Xiamen は交通量、PeMS は交通速度）。
• 1時間先予測において、GMAN はベースラインより MAE を最大で 4% 改善し、長期的な性能に優れていることを示す。
• 歴史データが部分的に欠損している場合、GMAN はベースライン手法より高いフォールトトレランスを示す。
• アブレーション研究により、空間注意、時間注意、ゲート結合、transform attention がそれぞれ性能に寄与し、特に transform attention は誤差伝搬を緩和する。
• GMAN は Graph WaveNet に対する訓練・推論時間の競争力を維持し、DCRNN のようなリカレントベースラインよりも速い。