[論文レビュー] Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting

Aosong Feng, Leandros Tassiulas|arXiv (Cornell University)|Jul 9, 2022

Traffic Prediction and Management Techniques被引用数 5

ひとこと要約

本論文は、学習可能な自己適応グラフ上で局所的マルチヘッド自己注意を用いて、直接的にクロス空間時間相関をモデル化する、適応的グラフ空間時間変換器ネットワーク（ASTTN）を提案する。この手法は、特に長期予測タスクにおいて、交通予測ベンチマークで最先端の性能を達成している。

ABSTRACT

Traffic flow forecasting on graphs has real-world applications in many fields, such as transportation system and computer networks. Traffic forecasting can be highly challenging due to complex spatial-temporal correlations and non-linear traffic patterns. Existing works mostly model such spatial-temporal dependencies by considering spatial correlations and temporal correlations separately and fail to model the direct spatial-temporal correlations. Inspired by the recent success of transformers in the graph domain, in this paper, we propose to directly model the cross-spatial-temporal correlations on the spatial-temporal graph using local multi-head self-attentions. To reduce the time complexity, we set the attention receptive field to the spatially neighboring nodes, and we also introduce an adaptive graph to capture the hidden spatial-temporal dependencies. Based on these attention mechanisms, we propose a novel Adaptive Graph Spatial-Temporal Transformer Network (ASTTN), which stacks multiple spatial-temporal attention layers to apply self-attention on the input graph, followed by linear layers for predictions. Experimental results on public traffic network datasets, METR-LA PEMS-BAY, PeMSD4, and PeMSD7, demonstrate the superior performance of our model.

研究の動機と目的

• 空間的および時間的依存関係を別々に分解する既存手法の限界を解消し、直接的なクロス空間時間相関を捉えること。
• 真の交通依存関係を反映しない可能性のある固定された地理的隣接行列に依存する問題を克服すること。
• 特に通勤ラッシュ時のような双方向交通パターンが顕著な時間ステップにわたる動的空間相関をモデル化すること。
• 空間時間グラフ内のノード間の複雑で時間的に変化する相互作用を捉えることで、長期交通予測の精度を向上させること。
• 計算複雑性を低減しつつ性能を維持するスケーラブルな注目メカニズムの開発

提案手法

• 局所的マルチヘッド自己注意（local MSA）を用いた新規な空間時間自己注意メカニズムを提案し、効率的にクロス空間時間依存関係をモデル化する。
• データからノード間の相関関係を動的に学習する自己適応グラフ学習モジュールを導入し、固定された地理的隣接行列の代わりに使用する。
• 各トランスフォーマーブロック内で空間的および時間的注目特徴を効果的に統合するゲート付き融合メカニズムを設計する。
• 自己適応隣接行列にマスクベースのスパarsificationを適用し、相関が高いノードペairに注目を集中させ、計算量を削減する。
• 時間的および空間的両方の階層的依存関係を捉えるために、残差接続を用いた複数の空間時間注目層をスタックする。
• 空間的位置と時間的位置を同時にエンコードするノード埋め込みを用いることで、モデルの過去の関連情報および空間的文脈への注目能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 自己注意を用いてクロス空間時間相関を直接モデル化することで、空間的および時間的モデルの別個処理に比べ、交通予測の精度が向上するか？
• RQ2 固定された地理的隣接行列と比較して、データ駆動型のノード依存関係を捉えるために自己適応グラフはどの程度有効か？
• RQ3 局所的マルチヘッド自己注意と自己適応グラフ学習の組み合わせが、特に長期予測において優れた性能を発揮するか？
• RQ4 全結合型、因子分解型、局所型、自己適応型といった異なる注目メカニズムは、精度、学習安定性、推論速度の観点でどのように比較されるか？
• RQ5 モデルの性能が、非地理的だが意味のある交通依存関係を明らかにできる自己適応隣接行列の能力にどの程度依存しているか？

主な発見

• ASTTNはMETR-LA、PEMS-BAY、PeMSD4、PeMSD7で最先端の性能を達成し、PEMS-BAYでは15分予測で1.32 MAE、120分予測で1.72 MAEを記録した。
• DCRNN、STGCN、Graph WaveNet、GMANを上回り、特に120分予測のような長期予測タスクで顕著な性能向上を示した。
• アブレーションスタディの結果、自己適応局所MSAモジュールを削除したASTTN-NAは、PEMS-BAYで15分予測で1.45 MAEを示し、性能向上に不可欠であることが確認された。
• 自己適応隣接行列は、元のグラフに存在しない非地理的相関関係（例：長距離交通伝播効果）を明らかにし、真の依存関係を捉える能力を裏付けた。
• 因子分解型および全結合型注目メカニズムは、過学習と高い計算コストのため性能が劣り、自己適応局所MSAが精度と効率の最良のトレードオフを達成した。
• モデルの性能は自己適応グラフおよびゲート付き融合モジュールに最も敏感であり、ASTTN-NE（埋め込みなし）およびASTTN-NF（融合なし）では顕著な性能低下が観察された。