[論文レビュー] Graph WaveNet for Deep Spatial-Temporal Graph Modeling

Zonghan Wu, Shirui Pan+3 more|arXiv (Cornell University)|May 31, 2019

Advanced Graph Neural Networks参考文献 26被引用数 70

ひとこと要約

Graph WaveNet は自己適応型隣接行列と積み重ねた拡張因果畳み込みを導入し、時空グラフをモデル化することで、効率的なエンドツーエンド学習を実現し、最先端の交通予測を達成する。

ABSTRACT

Spatial-temporal graph modeling is an important task to analyze the spatial relations and temporal trends of components in a system. Existing approaches mostly capture the spatial dependency on a fixed graph structure, assuming that the underlying relation between entities is pre-determined. However, the explicit graph structure (relation) does not necessarily reflect the true dependency and genuine relation may be missing due to the incomplete connections in the data. Furthermore, existing methods are ineffective to capture the temporal trends as the RNNs or CNNs employed in these methods cannot capture long-range temporal sequences. To overcome these limitations, we propose in this paper a novel graph neural network architecture, Graph WaveNet, for spatial-temporal graph modeling. By developing a novel adaptive dependency matrix and learn it through node embedding, our model can precisely capture the hidden spatial dependency in the data. With a stacked dilated 1D convolution component whose receptive field grows exponentially as the number of layers increases, Graph WaveNet is able to handle very long sequences. These two components are integrated seamlessly in a unified framework and the whole framework is learned in an end-to-end manner. Experimental results on two public traffic network datasets, METR-LA and PEMS-BAY, demonstrate the superior performance of our algorithm.

研究の動機と目的

• Spatial-temporal modeling における固定グラフ構造の制限に対処する。
• データから直接隠れた空間的依存性を学習可能にする。
• RNN を用いずに長距離の時系列依存性を効率的に捉える。
• 空間- temporal 層を残差接続・スキップ接続と共に積み重ねる、統一的なエンドツーエンドのフレームワークを統合する。

提案手法

• ノード埋め込みから学習される自己適応隣接行列を備えたグラフ畳み込み層を導入する。
• 拡散型グラフ畳み込みと自己適応型グラフ畳込みを組み合わせて空間依存性をモデル化する。
• 長距離の時系列パターンを捉えるために積み重ねられた拡張因果畳み込み（Gated TCN）を使用する。
• 空間-時間層を残差およびスキップ接続と共に積み重ねた統一的なエンドツーエンドのフレームワークを使用する。
• トレイン/推論の不整合を避けるため、マルチステップ先行出力を共同で予測するようモデルを訓練する。
• 1回の順伝播で全ての T ステップの予測を出力し、再帰的に予測を行わない。

実験結果

リサーチクエスチョン

• RQ1 自己適応型隣接行列は固定グラフを超えた隠れた空間依存性を明らかにできるのか。
• RQ2 適応的な空間結合を拡張した時系列の拡張と統合することで長期予測は改善されるのか。
• RQ3 Graph WaveNet は交通データセットにおいて、精度と効率の点で既存の時空モデルと比較してどうか。

主な発見

Dataset	Model	15 min MAE	15 min RMSE	15 min MAPE	30 min MAE	30 min RMSE	30 min MAPE	60 min MAE	60 min RMSE	60 min MAPE
METR-LA	ARIMA	3.99	8.21	9.60%	5.15	10.45	12.70%	6.90	13.23	17.40%
METR-LA	FC-LSTM	3.44	6.30	9.60%	3.77	7.23	10.90%	4.37	8.69	13.20%
METR-LA	WaveNet	2.99	5.89	8.04%	3.59	7.28	10.25%	4.45	8.93	13.62%
METR-LA	DCRNN	2.77	5.38	7.30%	3.15	6.45	8.80%	3.60	7.60	10.50%
METR-LA	GGRU	2.71	5.24	6.99%	3.12	6.36	8.56%	3.64	7.65	10.62%
METR-LA	STGCN	2.88	5.74	7.62%	3.47	7.24	9.57%	4.59	9.40	12.70%
METR-LA	Graph WaveNet	2.69	5.15	6.90%	3.07	6.22	8.37%	3.53	7.37	10.01%
PEMS-BAY	ARIMA	1.62	3.30	3.50%	2.33	4.76	5.40%	3.38	6.50	8.30%
PEMS-BAY	FC-LSTM	2.05	4.19	4.80%	2.20	4.55	5.20%	2.37	4.96	5.70%
PEMS-BAY	WaveNet	1.39	3.01	2.91%	1.83	4.21	4.16%	2.35	5.43	5.87%
PEMS-BAY	DCRNN	1.38	2.95	2.90%	1.74	3.97	3.90%	2.07	4.74	4.90%
PEMS-BAY	STGCN	1.36	2.96	2.90%	1.81	4.27	4.17%	2.49	5.69	5.79%
PEMS-BAY	Graph WaveNet	1.30	2.74	2.73%	1.63	3.70	3.67%	1.95	4.52	4.63%

• Graph WaveNet は METR-LA と PEMS-BAY において 15、30、60 分の予測時間で最先端の結果を達成した。
• 前方-後方適応隣接配置が両データセットで最も良い性能を示した。
• 適応のみの設定はグラフ構造が利用できない場合に良好に機能し、前方のみの性能に近い。
• Graph WaveNet は推論時により速く、学習時には DCRNN よりもはるかに高速であり、多くのベースラインよりも正確である。
• 自己適応型隣接行列を学習することで、影響力のあるノードを明らかにし、隠れた空間依存性を露出させる。
• モデルは安定性を保ち、WaveNet および STGCN と比較してマルチステップ予測を改善している。