[論文レビュー] PDFormer: Propagation Delay-Aware Dynamic Long-Range Transformer for Traffic Flow Prediction

Jiawei Jiang, Chengkai Han+2 more|arXiv (Cornell University)|Jan 19, 2023

Traffic Prediction and Management Techniques被引用数 22

ひとこと要約

PDFormerは、短距離および長距離マスキングを用いた伝搬遅延対応の時空間自己注意を導入して交通量を予測し、最先端の精度と解釈可能な注意マップを実現します。

ABSTRACT

As a core technology of Intelligent Transportation System, traffic flow prediction has a wide range of applications. The fundamental challenge in traffic flow prediction is to effectively model the complex spatial-temporal dependencies in traffic data. Spatial-temporal Graph Neural Network (GNN) models have emerged as one of the most promising methods to solve this problem. However, GNN-based models have three major limitations for traffic prediction: i) Most methods model spatial dependencies in a static manner, which limits the ability to learn dynamic urban traffic patterns; ii) Most methods only consider short-range spatial information and are unable to capture long-range spatial dependencies; iii) These methods ignore the fact that the propagation of traffic conditions between locations has a time delay in traffic systems. To this end, we propose a novel Propagation Delay-aware dynamic long-range transFormer, namely PDFormer, for accurate traffic flow prediction. Specifically, we design a spatial self-attention module to capture the dynamic spatial dependencies. Then, two graph masking matrices are introduced to highlight spatial dependencies from short- and long-range views. Moreover, a traffic delay-aware feature transformation module is proposed to empower PDFormer with the capability of explicitly modeling the time delay of spatial information propagation. Extensive experimental results on six real-world public traffic datasets show that our method can not only achieve state-of-the-art performance but also exhibit competitive computational efficiency. Moreover, we visualize the learned spatial-temporal attention map to make our model highly interpretable.

研究の動機と目的

• 動的で長距離かつ時系列遅延の空間依存性に対処することで、交通量予測の精度を高める。
• 局所的な地理的領域と全球的な意味的近傍を統合する空間自己注意モジュールで動的な空間関係をモデル化する。
• 交通情報の伝搬遅延を予測プロセスに明示的に組み込む。
• 動的な時間パターンを捉え、解釈可能な空間-時空間注意機構を提供する。

提案手法

• 三つのコア要素を持つ空間-時空自己注意に基づくPDFormerを提案する：短距離/長距離の空間依存性を担うGeoSSAとSemSSA、時間的ダイナミクスを担うTSA。
• 遅延対応の特徴変換（DFT）を導入し、k-ShapeクラスタリングとDTWベースの意味的近傍を用いて歴史的パターン記憶をキー表現に付加する。
• 注意計算において局所の地理的関係とグローバルな意味的関係を強調するために、2つのグラフマスキング行列M_geoとM_semを使用する。
• GeoSSA、SemSSA、TSAの出力を結合して多頭異種注意を統合し、その後のフィードフォワードネットワークと残差接続に接続する。
• データ埋め込み層はグラフラプラシアン埋め込みと時系列周期埋め込みを含み、構造情報と周期情報を注入する。
• 出力層はスキップ接続と1x1畳み込みを使用して再帰デコードなしでマルチステップ予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 動的な空間依存性を交通データに対していかに効果的にモデル化できるか？
• RQ2

主な発見

モデル	PeMS04 MAE	PeMS04 MAPE	PeMS04 RMSE	PeMS07 MAE	PeMS07 MAPE	PeMS07 RMSE	PeMS08 MAE	PeMS08 MAPE	PeMS08 RMSE	NYCTaxi 流入 MAE	NYCTaxi 流入 MAPE	NYCTaxi 流入 RMSE	CHIBike 流入 MAE	CHIBike 流入 MAPE	CHIBike 流入 RMSE	T-Drive 流入 MAE	T-Drive 流入 MAPE	T-Drive 流入 RMSE
PDFormer	18.321	12.103	29.965	19.832	8.529	32.870	13.583	9.046	31.606	13.152	12.743	21.957	11.575	12.820	17.832	14.711	31.501
ASTGNN	18.601	12.630	31.028	20.616	8.861	34.017	14.874	9. -	-	-	-	-	-	-	-	-	-
TFormer	18.916	12.711	31.349	20.754	8.972	34.062	13.178	9. -	-	-	-	-	-	-	-	-	-
GMAN	14.267	14.114	23.728	12.273	13.672	19.594	19.244	17.110	35.986	18.964	15.788	36.120	4.115	31.150	5.910	4.090	30.662

• PDFormerは実世界の6データセット（3つのグラフベースと3つのグリッドベース）においてMAE、MAPE、RMSEで最先端の性能を達成する。
• アブレーション実験でSSAは動的かつ長距離の空間依存性を捉える能力からGCNより上回る。
• 2つのマスキング行列（M_geoとM_sem）は、関連する局所領域と距離があるが類似する領域への注意を誘導することで性能を大幅に向上させる。
• 遅延対応の特徴変換は空間伝搬遅延を明示的にモデリングすることで予測を改善する。
• PDFormerは競争力のあるトレーニングおよび推論効率を提供し、いくつかの効率性指標でベースラインを上回る。
• 空間-時間注意の可視化は近傍で意味的に類似した領域に焦点を当てることを示し、解釈性を実証する。