[論文レビュー] Spatial-Temporal Transformer Networks for Traffic Flow Forecasting

Mingxing Xu, Wenrui Dai+5 more|arXiv (Cornell University)|Jan 9, 2020

Traffic Prediction and Management Techniques参考文献 31被引用数 265

ひとこと要約

この論文は、動的な有向空間依存性と長距離の時間依存性をモデル化する Spatial-Temporal Transformer Networks（STTNs）を提案し、長期的な交通量予測を改善します。STTNsは、特に長期の予測区間でPeMS-BAYとPeMSD7(M)で競争力のある、最先端の性能を達成します。

ABSTRACT

Traffic forecasting has emerged as a core component of intelligent transportation systems. However, timely accurate traffic forecasting, especially long-term forecasting, still remains an open challenge due to the highly nonlinear and dynamic spatial-temporal dependencies of traffic flows. In this paper, we propose a novel paradigm of Spatial-Temporal Transformer Networks (STTNs) that leverages dynamical directed spatial dependencies and long-range temporal dependencies to improve the accuracy of long-term traffic forecasting. Specifically, we present a new variant of graph neural networks, named spatial transformer, by dynamically modeling directed spatial dependencies with self-attention mechanism to capture realtime traffic conditions as well as the directionality of traffic flows. Furthermore, different spatial dependency patterns can be jointly modeled with multi-heads attention mechanism to consider diverse relationships related to different factors (e.g. similarity, connectivity and covariance). On the other hand, the temporal transformer is utilized to model long-range bidirectional temporal dependencies across multiple time steps. Finally, they are composed as a block to jointly model the spatial-temporal dependencies for accurate traffic prediction. Compared to existing works, the proposed model enables fast and scalable training over a long range spatial-temporal dependencies. Experiment results demonstrate that the proposed model achieves competitive results compared with the state-of-the-arts, especially forecasting long-term traffic flows on real-world PeMS-Bay and PeMSD7(M) datasets.

研究の動機と目的

• 高度に動的な空間-時間依存性の中で、正確な長期交通予測の課題に対処する。
• 時間変動する指向的空間関係を捉える空間トランスフォーマを導入する。
• 長距離の時間依存性をモデル化して多段予測を実現する時間トランスフォーマを組み込む。
• 交通ネットワーク上で空間-時間モデリングを共同で効率的にスケーラブルな訓練を可能にする。

提案手法

• 空間トランスフォーマと時間トランスフォーマを備えた空間-時間ブロックのアーキテクチャを定義する。
• ゲート融合機構を備えた固定グラフ畳み込み層とダイナミカルグラフ畳み込み層を通じて動的空間依存性をモデル化する。
• トポロジーと時間を組み込むための学習可能な空間-時間位置エンベディングを使用する。
• 自己注意を空間トランスフォーマと時間トランスフォーマに適用して長距離依存性を捉える。
• 二層の予測ヘッドを用いて多段予測を並列に生成することを訓練する。
• STTN をダイナミカルグラフニューラルネットワークとして、メッセージパッシングの意味論を用いて定式化する。

実験結果

リサーチクエスチョン

• RQ1 交通ネットワークにおける動的な指向性空間依存性をどのように効果的にモデル化できるか？
• RQ2 時間トランスフォーマは長距離の時間依存性を捉えて多段の交通予測を改善できるか？
• RQ3 空間と時間のトランスフォーマを統合することで、固定空間レイアウトモデルより長期的な精度が向上するか？

主な発見

• STTN は最先端の手法と競合する結果を示し、実世界データセットの PeMSD7(M) と PEMS-BAY で長期予測の顕著な改善を達成した。
• 空間トランスフォーマは、固定グラフ畳み込みと動的グラフ畳み込みの両方を介して、定常的なトポロジー駆動の空間パターンと動的な交通状況駆動の空間パターンの両方を学習する。
• 時間トランスフォーマは自己注意によって長距離の時間依存性をモデル化し、同時に多段予測を可能にする。
• ゲート機構は固定・動的畳み込みからの空間特徴を効果的に融合し、頑健な特徴表現を改善する。
• モデルは効率的な並列訓練とスケーラブルな長距離依存性モデリングをサポートし、長期予測における従来手法を上回る。