[論文レビュー] Dynamic Spatiotemporal Graph Neural Network with Tensor Network

Chengcheng Jia, Bo Wu+1 more|arXiv (Cornell University)|Mar 12, 2020

Advanced Graph Neural Networks参考文献 11被引用数 4

ひとこと要約

本稿では、時系列データにおける動的空間的・時間的相関をモデル化するため、空間テンソルグラフ（STG）と時間テンソルグラフ（TTG）を構築する動的時空間的グラフニューラルネットワーク（DSTGNN）を提案する。両グラフを同時に最適化するためにProjected Entangled Pair States（PEPS）を用いることで、低ランク学習によるパラメータ削減を実現し、METR-LAにおける15分予測で4.43%のMAPEを達成する。これは、交通予測ベンチマークで最先端の性能を達成している。

ABSTRACT

Dynamic spatial graph construction is a challenge in graph neural network (GNN) for time series data problems. Although some adaptive graphs are conceivable, only a 2D graph is embedded in the network to reflect the current spatial relation, regardless of all the previous situations. In this work, we generate a spatial tensor graph (STG) to collect all the dynamic spatial relations, as well as a temporal tensor graph (TTG) to find the latent pattern along time at each node. These two tensor graphs share the same nodes and edges, which leading us to explore their entangled correlations by Projected Entangled Pair States (PEPS) to optimize the two graphs. We experimentally compare the accuracy and time costing with the state-of-the-art GNN based methods on the public traffic datasets.

研究の動機と目的

• GNNにおける静的空間グラフの制限を克服し、時系列データの動的空間的関係をモデル化すること。
• 各ノード固有の時間テンソルグラフ（TTG）を構築することで、ノードごとの潜在的時間的相関を捉えること。
• テンソルネットワークを用いて空間的・時間的グラフを同時に最適化し、それらのからみあう相関を活用すること。
• PEPSによる低ランクテンソル分解を用いて、パラメータ数と計算複雑性を低減すること。
• 特に交通ネットワークのような動的環境において、時系列予測性能を向上させること。

提案手法

• 時系列ステップにわたる動的空間的関係を符号化するため、3次元テンソル𝒜 ∈ ℝ^{N×N×T}として空間テンソルグラフ（STG）を構築する。
• 時系列パターンの類似性を用いてノードごとの時間的依存性をモデル化するため、3次元テンソルℬ ∈ ℝ^{N×T×T}として時間テンソルグラフ（TTG）を構築する。
• Tucker分解を用いてSTGおよびTTG上で高次元畳み込みを実行する空間／時間グラフ畳み込み層（STGCL）を適用する。
• 空間的・時間的グラフの共同最適化を実現するため、Projected Entangled Pair States（PEPS）を用い、低ランクテンソル縮約によるパラメータ削減を可能にする。
• 各時刻における動的グラフ表現の精緻化のため、特異値分解（SVD）および正規化（ReLU、SoftMax）を用いる。
• PEPSを前処理モジュールとして統合し、STGとTTG間の共有相関を抽出するとともに、パラメータ数を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 静的グラフに比べ、動的空間テンソルグラフ（STG）は時系列データにおける進化する空間的依存関係をよりよく捉えることができるか？
• RQ2 ノードごとの時間テンソルグラフ（TTG）は、交通データにおけるラッシュアワー周期などの潜在的時間パターンを効果的にモデル化できるか？
• RQ3 PEPSによるSTGとTTGの共同最適化は、パラメータ数を削減しつつモデル性能を向上させることができるか？
• RQ4 提案されたDSTGNNフレームワークは、交通予測タスクにおける最先端のGNNベースのモデルと比較してどのように優れているか？
• RQ5 テンソルネットワークに基づくPEPS機構は、時空間モデリングにおける特徴表現力と一般化性能をどの程度向上させるか？

主な発見

• STG、TTG、PEPSを統合したDSTGNNの完全モデルは、METR-LAにおける15分予測で4.43%のMAPEを達成し、すべてのベースラインを上回った。
• PEPSを含まないTTG単体の導入により、STG単体モデルのMAPE（60分予測時）が8.79%から8.10%に低下し、性能向上が確認された。
• STG+TTGにPEPSを追加することで、60分予測時のMAPEが8.29%から5.49%に低下し、共同最適化の有効性が裏付けられた。
• STG単体のDSTGNNバージョンは、STGCNやGraph WaveNetを下回る性能であったため、時間的モデリングの必要性が示された。
• PEPSモジュールは、STGとTTG間の低ランク相関を活用することで、モデルのパラメータ数を削減し、効率性を向上させた。
• 15分予測におけるMAEは2.75を達成し、Graph WaveNet（2.69 MAE）とARIMA（3.99 MAE）を上回り、最先端の性能を確認した。