[论文解读] Incrementally Improving Graph WaveNet Performance on Traffic Prediction

Sam Shleifer, Clara H. McCreery+1 more|arXiv (Cornell University)|Dec 11, 2019

Traffic Prediction and Management Techniques参考文献 4被引用 17

一句话总结

该论文通过优化超参数、引入跳跃连接以改善梯度流动，以及在短期预测任务上进行预训练，逐步提升了 Graph WaveNet 在交通预测任务上的性能。这些改进使 METR-LA 数据集上的平均 MAE 减少了 0.054，PEMS-BAY 数据集上的平均 MAE 减少了 0.055，仅通过极少的架构改动即实现了当前最优结果。

ABSTRACT

We present a series of modifications which improve upon Graph WaveNet's previously state-of-the-art performance on the METR-LA traffic prediction task. The goal of this task is to predict the future speed of traffic at each sensor in a network using the past hour of sensor readings. Graph WaveNet (GWN) is a spatio-temporal graph neural network which interleaves graph convolution to aggregate information from nearby sensors and dilated convolutions to aggregate information from the past. We improve GWN by (1) using better hyperparameters, (2) adding connections that allow larger gradients to flow back to the early convolutional layers, and (3) pretraining on an easier short-term traffic prediction task. These modifications reduce the mean absolute error by .06 on the METR-LA task, nearly equal to GWN's improvement over its predecessor. These improvements generalize to the PEMS-BAY dataset, with similar relative magnitude. We also show that ensembling separate models for short-and long-term predictions further improves performance. Code is available at https://github.com/sshleifer/Graph-WaveNet .

研究动机与目标

• 在不进行重大架构调整的前提下，逐步提升 Graph WaveNet 在交通速度预测任务上的性能。
• 探究小幅度修改（如超参数调优、跳跃连接和预训练）是否能带来显著的性能提升。
• 评估不同输入表示方式（包括对零速度读数的处理）对模型准确率的影响。
• 确定是否通过融合短期和长期预测头的模型可提升整体性能。
• 理解时间历史、图卷积和学习得到的邻接矩阵在时空建模中的相对重要性。

提出的方法

• 将卷积层的通道数从 32 增加到 40，以提升模型的表征能力。
• 引入跳跃连接，使梯度能更有效地流向早期卷积层，从而提升训练稳定性。
• 将输入特征中的零速度值替换为所有传感器的平均速度，以更合理地表示缺失数据。
• 在训练过程中应用学习率衰减，以稳定收敛并提升泛化能力。
• 在微调完整 60 分钟预测任务之前，先在短期交通预测任务（15 分钟预测时域）上对模型进行预训练。
• 通过融合分别训练的短期（15 分钟）和长期（60 分钟）预测模型，提升整体预测准确率。

实验结果

研究问题

• RQ1 对 Graph WaveNet 进行小幅度、渐进式的修改，是否能显著提升其在交通预测任务上的性能？
• RQ2 在更简单的短期预测任务上进行预训练，是否能提升其在完整 60 分钟预测任务上的表现？
• RQ3 不同的输入表示方式（尤其是对零速度读数的处理）如何影响模型的准确率？
• RQ4 是否通过融合不同预测时域训练的模型能获得性能增益？
• RQ5 图卷积和学习得到的邻接矩阵对模型性能的相对贡献是什么？

主要发现

• 在 METR-LA 数据集上，最终模型的平均 MAE 为 3.002，相比基线 Graph WaveNet（3.057）降低了 0.055。
• 在 PEMS-BAY 数据集上，改进后的模型将平均 MAE 降低了 0.055，表明其性能在原始数据集之外也具有良好的泛化能力。
• 若移除任一关键改进措施（如学习率衰减或跳跃连接），性能均出现可测量的下降，证实了这些组件的必要性。
• 在短期预测任务上进行预训练有助于提升完整任务的性能，尽管微调后的模型在短期预测上的精度略有下降。
• 当使用 5–6 个时间步（即 30 分钟）的历史信息后，模型性能趋于平稳，表明在此之后收益递减。
• 若不使用图卷积，模型的平均 MAE 上升至 3.59；若不使用学习得到的邻接矩阵，平均 MAE 达到 3.08，证实了这两个组件对模型性能的关键作用。