[论文解读] Graph Neural Controlled Differential Equations for Traffic Forecasting

Jeongwhan Choi, Hwangyong Choi+2 more|arXiv (Cornell University)|Dec 7, 2021

Traffic Prediction and Management Techniques被引用 28

一句话总结

论文提出STG-NCDE，一种时空预测模型，结合两个神经控制微分方程（NCDEs）用于时序与时空处理，在六个 PeMS 数据集上取得最先进的结果，并对不规则数据具有鲁棒性。

ABSTRACT

Traffic forecasting is one of the most popular spatio-temporal tasks in the field of machine learning. A prevalent approach in the field is to combine graph convolutional networks and recurrent neural networks for the spatio-temporal processing. There has been fierce competition and many novel methods have been proposed. In this paper, we present the method of spatio-temporal graph neural controlled differential equation (STG-NCDE). Neural controlled differential equations (NCDEs) are a breakthrough concept for processing sequential data. We extend the concept and design two NCDEs: one for the temporal processing and the other for the spatial processing. After that, we combine them into a single framework. We conduct experiments with 6 benchmark datasets and 20 baselines. STG-NCDE shows the best accuracy in all cases, outperforming all those 20 baselines by non-trivial margins.

研究动机与目标

• 在带有不规则时间序列数据的时空图上推动高精度交通预测。
• 开发双NCDE框架以分别建模时序和时空依赖。
• 在NCDE中利用自适应图卷积以捕捉动态时空关系。
• 演示对现实交通数据中缺失观测与不规则采样的鲁棒性。
• 提供对大量基线的全面大规模评估。

提出的方法

• 通过对过去特征进行自然样条插值，为每个节点v创建一个连续路径表示X^(v)。
• 使用两个NCDE：时序处理h^(v)(T)由dX^(v)/dt驱动（式4/5），以及由dH/dt驱动的时空处理Z(T)（式6）。
• 将f定义为多层全连接的逐节点时序处理器（式8）。
• 将g定义为使用自适应邻接（E, W_spatial）和经过softmax归一化的交互进行空间混合（式9–11）。
• 将时空NCDE合并为一个增强常微分方程（式12），从Z(T)生成预测ŷ^(v)（式13）。
• 使用L1损失加权衰减进行训练；通过李氏连续性考量证明良态性。

实验结果

研究问题

• RQ1 双NCDE框架是否能有效捕捉交通网络中的时序动态和空间依赖？
• RQ2 将自适应的、基于NCDE的时空模块与时序NCDE结合是否能在强基线之上提升预测准确性？
• RQ3 STG-NCDE对真实世界交通场景中不规则或缺失的传感数据有多鲁棒？
• RQ4 节点嵌入维度和路径插值对模型性能有何影响？

主要发现

• 在MAE、RMSE和MAPE上跨6个PeMS数据集超越20个基线（STG-NCDE达到最佳平均精度）。
• 在10–50%的缺失率不规则数据情景下STG-NCDE仍然占优，而基线方法难以应对。
• 消融实验显示同时使用时序和时空NCDE比单独使用其中之一获得更好结果。
• 将节点嵌入维度C增大至10可提升性能，在C=7以上表现稳定。
• 模型在不同时间范围内提供精确预测，并相对于消融具有鲁棒的训练动力学。