[論文レビュー] DetectorNet: Transformer-enhanced Spatial Temporal Graph Neural Network for Traffic Prediction

He Li, Shiyu Zhang+7 more|arXiv (Cornell University)|Oct 19, 2021

Traffic Prediction and Management Techniques参考文献 5被引用数 4

ひとこと要約

DetectorNetは、マルチビュー時系列アテンションモジュールとダイナミックアテンションモジュールを用いて、交通予測における動的空間的・時系列的相関をモデル化する、トランスフォーマー強化型の空間的時系列グラフニューラルネットワークを提案する。2つの公開データセットにおいて最先端の性能を達成し、複数の予測時間窓においてMAE、RMSE、MAPEの観点で11の最先端ベースラインを上回った。

ABSTRACT

Detectors with high coverage have direct and far-reaching benefits for road users in route planning and avoiding traffic congestion, but utilizing these data presents unique challenges including: the dynamic temporal correlation, and the dynamic spatial correlation caused by changes in road conditions. Although the existing work considers the significance of modeling with spatial-temporal correlation, what it has learned is still a static road network structure, which cannot reflect the dynamic changes of roads, and eventually loses much valuable potential information. To address these challenges, we propose DetectorNet enhanced by Transformer. Differs from previous studies, our model contains a Multi-view Temporal Attention module and a Dynamic Attention module, which focus on the long-distance and short-distance temporal correlation, and dynamic spatial correlation by dynamically updating the learned knowledge respectively, so as to make accurate prediction. In addition, the experimental results on two public datasets and the comparison results of four ablation experiments proves that the performance of DetectorNet is better than the eleven advanced baselines.

研究の動機と目的

• 既存のGNNベースの交通予測手法における静的レーンネットワークモデリングの限界を是正すること。
• 変化するレーン状況に応じて進化する動的空間的相関を捉えること。
• 多視点アテンション機構を用いて長距離および短距離の時系列依存性をモデル化すること。
• 動的構造的知識の統合により、マルチステップ交通予測の精度を向上させること。
• 提案モデルの有効性を、11の最先端ベースラインと比較して検証すること。

提案手法

• 長距離・中距離・短距離の時系列依存性を別々のアテンションヘッドを用いて捉えるマルチビュー時系列アテンション（MTA）モジュールを導入する。
• 交通状況に応じてグラフ構造を動的に更新することで、時間変動する空間的関係を学習するダイナミックアテンション（DA）モジュールを採用する。
• アテンションモジュールの前段で、1次元畳み込み層を用いて入力特徴量を高次元表現に投影する。
• 学習可能な隣接行列を備えたグラフ畳み込みネットワーク（GCN）を用いて、動的かつ空間的依存性をモデル化する。
• 自己アテンション機構を統合し、長距離時系列シーケンスモデリングを強化することで、マルチステップ予測性能を向上させる。
• 重み減衰とドロップアウト（0.3）を用いたAdam最適化アルゴリズムでモデルを学習し、過学習を防止する。評価にはMAE、RMSE、MAPEを用いる。

実験結果

リサーチクエスチョン

• RQ1 静的グラフ構造と比較して、動的空間的相関をモデル化することで交通予測精度が向上するか？
• RQ2 マルチビュー時系列アテンションは、長距離およびマルチステップ交通予測性能を向上させるか？
• RQ3 ダイナミックグラフ学習と自己アテンションの統合は、予測のロバスト性および精度にどのように影響するか？
• RQ4 実世界の交通データセットにおいて、DetectorNetは既存のSOTAモデルをどの程度上回るか？
• RQ5 各モジュール（MTA、DA、SA）の全体的性能への寄与度は何か？

主な発見

• METR-LAでは30分予測においてMAEが3.06、RMSEが6.08と最低を記録し、11のすべてのベースラインを上回った。
• PEMS-BAYでは30分予測においてMAEが1.57、RMSEが3.54と最低を記録し、比較対象のすべてのモデルを上回った。
• アブレーションスタディの結果、マルチビュー時系列アテンション（MTA）またはダイナミックアテンション（DA）モジュールを削除すると性能が低下し、それらの必要性が裏付けられた。
• 自己アテンション機構のおかげで、長距離マルチステップ予測において顕著な改善が見られ、RNNおよびTCNベースのモデルを上回った。
• ダイナミックアテンションモジュールは、進化するレーン間関係を効果的に捉えており、静的GNNベースラインと比較してMAEを0.1～0.3低下させた。
• DetectorNetは短期および長期予測の両方で優れた性能を維持しており、PEMS-BAYではMAPEが4%未満、METR-LAでは8.2%未満を記録した。