[論文レビュー] STGIN: A Spatial Temporal Graph-Informer Network for Long Sequence Traffic Speed Forecasting

Ruikang Luo, Yaofeng Song+3 more|arXiv (Cornell University)|Oct 1, 2022

Traffic Prediction and Management Techniques被引用数 11

ひとこと要約

本論文では、空間的依存関係と長距離の時間的相関を効果的にモデル化するため、グラフ自己注意ネットワーク（GAT）とInformerアーキテクチャを統合した新規な空間時系列グラフ-Informerネットワーク、STGINを提案する。このモデルは2つの実世界データセットで最先端の性能を達成し、ARIMAと比較してRMSEを49.7%低減し、60分先までの予測においても安定的かつ高精度な予測を実現した。

ABSTRACT

Accurate long series forecasting of traffic information is critical for the development of intelligent traffic systems. We may benefit from the rapid growth of neural network analysis technology to better understand the underlying functioning patterns of traffic networks as a result of this progress. Due to the fact that traffic data and facility utilization circumstances are sequentially dependent on past and present situations, several related neural network techniques based on temporal dependency extraction models have been developed to solve the problem. The complicated topological road structure, on the other hand, amplifies the effect of spatial interdependence, which cannot be captured by pure temporal extraction approaches. Additionally, the typical Deep Recurrent Neural Network (RNN) topology has a constraint on global information extraction, which is required for comprehensive long-term prediction. This study proposes a new spatial-temporal neural network architecture, called Spatial-Temporal Graph-Informer (STGIN), to handle the long-term traffic parameters forecasting issue by merging the Informer and Graph Attention Network (GAT) layers for spatial and temporal relationships extraction. The attention mechanism potentially guarantees long-term prediction performance without significant information loss from distant inputs. On two real-world traffic datasets with varying horizons, experimental findings validate the long sequence prediction abilities, and further interpretation is provided.

研究の動機と目的

• インтелиジェント交通システムにおける長期間予測の課題に対処する。
• RNNがグローバルな時間的依存関係を捉えることの制限および消失勾配問題を克服する。
• 従来の時間的モデルが捉えきれない、道路網における複雑な空間的相関関係をモデル化する。
• グラフニューラルネットワークとInformerトランスフォーマーを統合し、長期間のシーケンスに対してグローバルなアテンションを可能にする。
• 複数の予測時間窓、特に60分先の長期予測を含む、さまざまな予測時間窓においても、強固で安定した性能を達成する。

提案手法

• 空間特徴抽出にグラフ自己注意ネットワーク（GAT）を用い、長期間の時間的モデリングにInformerを統合したハイブリッドアーキテクチャであるSTGINを提案する。
• GAT層を用いて道路セグメント間のトポロジー的関係を符号化し、非ユークリッド空間の交通ネットワークにおける空間的依存関係を捉える。
• 要因分解されたアテンション設計を備えたInformerのマルチヘッド自己注意メカニズムを採用し、長距離の時間的依存関係を効率的にモデル化する。
• GATとInformerモジュールを統合型エンコーダデコーダフレームワークに統合し、空間的および時間的パターンを同時に学習する。
• Informerにおける相対的位置エンコーディングを適用し、時間的順序を保持するとともに、長期間のシーケンスにおける一般化性能を向上させる。
• マルチホライゾン予測のため、実世界の交通速度データセットを用いて平均二乗誤差（MSE）損失に基づき、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドGNN-Transformerモデルは、従来のRNNや単独のGNNと比較して、長期交通速度予測において優れた性能を示せるか？
• RQ2 Informerアーキテクチャによるグローバルアテンションの統合が、長期間シーケンスにおける予測精度をどの程度向上させるか？
• RQ3 他の空間モデリング手法と比較して、GATは道路網における空間的依存関係をどの程度効果的に捉えられるか？
• RQ4 提案されたSTGINモデルは、15分から60分までの予測時間窓にわたり、安定した性能を維持できるか？
• RQ5 STGINのアテンションメカニズムは、定常性に依存せずに、周期的および急激な変化を示す交通パターンをどのように学習できるか？

主な発見

• STGINは、Los-loopデータセットにおける15分予測タスクにおいて、ARIMAモデルと比較してRMSEを49.7%低減した。
• STGINは、Los-loopデータセットの15分予測タスクにおいて、ARIMAと比較して予測精度を9.7%向上させた。
• モデルは15分、30分、45分、60分の4つの予測時間窓すべてにおいて一貫した優れた性能を示し、優れた一般化能力を示した。
• STGINは、GRU、Transformer、GCN+Transformer、STGCNなどのベースラインモデルを、2つの実世界データセットすべてで上回った。
• 可視化結果から、STGINはわずか2エポックの学習後にも周期的パターンを素早く学習し、急激な変化を捉えることができた。
• 16エポック経過後、STGINは15分予測において真値をほぼ完璧に再現した。60分予測についても、さらに学習を重ねることで顕著な改善が見られた。