[论文解读] Message Passing Neural Networks for Traffic Forecasting

Arian Prabowo, Hao Xue+3 more|arXiv (Cornell University)|May 9, 2023

Traffic Prediction and Management Techniques被引用 4

一句话总结

本文提出消息传递神经网络（MPNNs）是交通预测中最佳的图神经网络（GNN）类型，认为MPNNs能够独特地捕捉节点间相互作用，这对实现准确预测至关重要。在真实世界和合成数据上的实验表明，MPNNs显著优于卷积型（GCN）和注意力型（GAT）GNNs，在一个合成的节点相互作用任务中实现了近乎完美的性能（RMSE ≈ 0.015，R² ≈ 0.9995），而其他模型则失败。

ABSTRACT

A road network, in the context of traffic forecasting, is typically modeled as a graph where the nodes are sensors that measure traffic metrics (such as speed) at that location. Traffic forecasting is interesting because it is complex as the future speed of a road is dependent on a number of different factors. Therefore, to properly forecast traffic, we need a model that is capable of capturing all these different factors. A factor that is missing from the existing works is the node interactions factor. Existing works fail to capture the inter-node interactions because none are using the message-passing flavor of GNN, which is the one best suited to capture the node interactions This paper presents a plausible scenario in road traffic where node interactions are important and argued that the most appropriate GNN flavor to capture node interactions is message-passing. Results from real-world data show the superiority of the message-passing flavor for traffic forecasting. An additional experiment using synthetic data shows that the message-passing flavor can capture inter-node interaction better than other flavors.

研究动机与目标

• 识别并强调现有模型中缺失的交通预测中节点间相互作用的重要性。
• 论证消息传递GNNs是最适合捕捉节点相互作用的GNN类型，因其具有关系推理的归纳偏置。
• 通过实证验证消息传递GNNs在真实世界交通预测中优于卷积型和注意力型GNNs。
• 通过合成数据证明，MPNNs能够完全学习复杂、非线性的节点相互作用模式，而其他GNN类型则失败。

提出的方法

• 作者将交通预测形式化为基于图的回归任务，使用历史交通指标和邻接矩阵。
• 他们引入了一个合成任务——关系调制信号生成（RMSG）任务，以隔离并测试GNNs学习节点相互作用的能力。
• 比较了四种模型：简单平均基线、GCN（代表卷积型GNNs）、GAT（代表注意力型GNNs）和MPNN（代表消息传递型GNNs）。
• 所有模型均通过移除softmax层、添加单层MLP用于编码/解码，并通过在邻接矩阵中加入单位矩阵以引入自环，从而适配回归任务。
• 模型使用Optuna优化超参数，在2^20个训练样本、10^5个验证样本和2^20个测试样本上，通过RMSE、MAE和R²指标进行训练和评估。
• MPNN中的消息传递机制通过迭代消息传递聚合节点特征，从而显式建模节点之间的关系依赖。

实验结果

研究问题

• RQ1 节点间相互作用是否是交通预测中的关键因素，而当前模型未能捕捉到？
• RQ2 在卷积型、注意力型或消息传递型中，哪种GNN类型最适合建模交通网络中的节点间相互作用？
• RQ3 消息传递GNNs是否能在真实世界的交通预测任务中优于其他GNN类型？
• RQ4 合成数据实验能否隔离并确认消息传递GNNs在学习复杂节点相互作用模式方面的卓越能力？

主要发现

• 在合成的RMSG任务中，MPNN实现了近乎完美的性能，RMSE为0.01509 ± 0.002373，R²为0.99952 ± 0.000147，表明其已完全学习到潜在的相互作用模式。
• GCN的表现与平均基线相近（RMSE ≈ 0.6766），R²接近零，表明尽管具备非线性能力，仍未能学习到相互作用模式。
• GAT表现有所提升（RMSE ≈ 0.1685，R² ≈ 0.8774），但标准差超过0.18，表明其对相互作用的学习不稳定。
• 在真实世界交通数据上，MPNN在预测性能上优于GCN和GAT，证实其在实际场景中的有效性。
• 结果确认，消息传递GNNs在建模复杂、非线性节点间相互作用方面具有独特能力，而其他GNN类型则无法捕捉此类关系。