[论文解读] DetectorNet: Transformer-enhanced Spatial Temporal Graph Neural Network for Traffic Prediction

He Li, Shiyu Zhang+7 more|arXiv (Cornell University)|Oct 19, 2021

Traffic Prediction and Management Techniques参考文献 5被引用 4

一句话总结

DetectorNet 提出了一种基于 Transformer 的时空图神经网络，通过多视角时间注意力模块和动态注意力模块，对交通预测中的动态时空相关性进行建模。该方法在两个公开数据集上实现了最先进性能，在多个预测时长下，MAE、RMSE 和 MAPE 指标均优于 11 种先进基线模型。

ABSTRACT

Detectors with high coverage have direct and far-reaching benefits for road users in route planning and avoiding traffic congestion, but utilizing these data presents unique challenges including: the dynamic temporal correlation, and the dynamic spatial correlation caused by changes in road conditions. Although the existing work considers the significance of modeling with spatial-temporal correlation, what it has learned is still a static road network structure, which cannot reflect the dynamic changes of roads, and eventually loses much valuable potential information. To address these challenges, we propose DetectorNet enhanced by Transformer. Differs from previous studies, our model contains a Multi-view Temporal Attention module and a Dynamic Attention module, which focus on the long-distance and short-distance temporal correlation, and dynamic spatial correlation by dynamically updating the learned knowledge respectively, so as to make accurate prediction. In addition, the experimental results on two public datasets and the comparison results of four ablation experiments proves that the performance of DetectorNet is better than the eleven advanced baselines.

研究动机与目标

• 为解决现有基于 GNN 的交通预测方法中静态道路网络建模的局限性。
• 捕捉随道路状况变化而演化的动态空间相关性。
• 通过多视角注意力机制建模长时序和短时序依赖关系。
• 通过整合动态结构知识，提升多步交通预测的准确性。
• 在 11 种最先进基线模型上验证所提模型的有效性。

提出的方法

• 引入多视角时间注意力（MTA）模块，通过独立的注意力头捕捉长、中、短时序依赖关系。
• 采用动态注意力（DA）模块，基于交通状况动态更新图结构，学习时变的空间关系。
• 使用一维卷积层在注意力模块前将输入特征映射到更高维表示。
• 采用可学习邻接矩阵的图卷积网络（GCN），以动态方式建模空间依赖关系。
• 集成自注意力机制以增强长时序序列建模，提升多步预测性能。
• 使用 Adam 优化器配合权重衰减和 dropout（0.3）进行训练，以防止过拟合，并采用 MAE、RMSE 和 MAPE 进行评估。

实验结果

研究问题

• RQ1 与静态图结构相比，建模动态空间相关性是否能提升交通预测准确性？
• RQ2 多视角时间注意力是否能提升长时序和多步交通预测性能？
• RQ3 动态图学习与自注意力机制的结合对预测鲁棒性和准确性有何影响？
• RQ4 DetectorNet 在真实世界交通数据集上相对于现有 SOTA 模型的性能提升程度如何？
• RQ5 各组件（MTA、DA、SA）对整体性能的贡献分别是什么？

主要发现

• 在 METR-LA 数据集上，DetectorNet 在 30 分钟预测任务中实现最低 MAE（3.06）和 RMSE（6.08），优于全部 11 个基线模型。
• 在 PEMS-BAY 数据集上，DetectorNet 在 30 分钟预测任务中实现最低 MAE（1.57）和 RMSE（3.54），优于所有对比模型。
• 消融实验表明，移除多视角时间注意力（MTA）或动态注意力（DA）模块均导致性能下降，验证了其必要性。
• 得益于自注意力机制，模型在长距离多步预测中表现显著提升，优于基于 RNN 和 TCN 的模型。
• 动态注意力模块有效捕捉了演化的道路关系，相比静态 GNN 基线，MAE 降低 0.1–0.3。
• DetectorNet 在短时和长时预测中均保持优异性能，PEMS-BAY 上 MAPE 低于 4%，METR-LA 上低于 8.2%。