[论文解读] LargeST: A Benchmark Dataset for Large-Scale Traffic Forecasting

Xu Liu, Yutong Xia+8 more|arXiv (Cornell University)|Jun 14, 2023

Traffic Prediction and Management Techniques被引用 20

一句话总结

本文提出 LargeST，一个包含 8,600 个加州传感器、覆盖 5 年（2017–2021）的大规模交通预测基准，配有丰富的元数据，并进行全面的基线评估，以研究可扩展性、效率和时间分布漂移。

ABSTRACT

Road traffic forecasting plays a critical role in smart city initiatives and has experienced significant advancements thanks to the power of deep learning in capturing non-linear patterns of traffic data. However, the promising results achieved on current public datasets may not be applicable to practical scenarios due to limitations within these datasets. First, the limited sizes of them may not reflect the real-world scale of traffic networks. Second, the temporal coverage of these datasets is typically short, posing hurdles in studying long-term patterns and acquiring sufficient samples for training deep models. Third, these datasets often lack adequate metadata for sensors, which compromises the reliability and interpretability of the data. To mitigate these limitations, we introduce the LargeST benchmark dataset. It encompasses a total number of 8,600 sensors in California with a 5-year time coverage and includes comprehensive metadata. Using LargeST, we perform in-depth data analysis to extract data insights, benchmark well-known baselines in terms of their performance and efficiency, and identify challenges as well as opportunities for future research. We release the datasets and baseline implementations at: https://github.com/liuxu77/LargeST.

研究动机与目标

• 激发对能够映射真实世界网络的大规模、长时程交通预测基准的需求。
• 介绍 LargeST，这是一个覆盖加州、拥有 8,600 个传感器、5 年数据且具备丰富每传感器元数据的基准。
• 提供数据分析，揭示影响预测的空间、时间和元数据因素。
• 在 LargeST 上基准测试一系列基线模型以评估准确性、效率和可扩展性，并讨论挑战与未来机会。

提出的方法

• 从 CalTrans PeMS 数据构建 LargeST，选择主线传感器，并生成基于道路网络距离在 4 公里半径内的邻接关系的图。
• 将 5 分钟读数聚合为 15 分钟窗口，以在 5 年（2017–2021）内获得每天 96 个时间步。
• 用全面的元数据表示传感器（坐标、县、高速公路、车道等）以提高可解释性和模型设计。
• 构建四个子数据集（CA、GLA、GBA、SD），以实现从中等到大规模图规模的可扩展评估。
• 对所有子数据集按时间顺序构造训练/验证/测试分割，比例为 6:2:2；以 MAE、RMSE 和 MAPE 作为核心预测指标，并将训练和推理时间作为效率指标。
• 评估一系列基线方法（HL、LSTM、DCRNN、AGCRN、STGCN、GWNET、ASTGCN、STTN、STGODE、DSTAGNN、DGCRN、D2STGNN），以分析在 LargeST 上的性能、效率和可扩展性。

实验结果

研究问题

• RQ1 在具有五年数据的大规模传感器网络中，预测准确性如何变化？
• RQ2 将传感器元数据纳入对预测性能和可解释性的影响如何？
• RQ3 与较小的公开数据集相比，最先进的基线在 LargeST 上在准确性和效率方面的扩展性如何？
• RQ4 将交通预测模型扩展到大规模网络时，会出现哪些挑战（如时间分布漂移、模型复杂性）？
• RQ5 LargeST 能否成为未来可扩展预测方法和时间序列潜在基础模型的基础？

主要发现

• LargeST 由 8,600 个加州传感器和 5 年数据组成，产生 525,888 个时间帧。
• 基线方法表现各异，GWNET 和 AGCRN 在多个子数据集上取得了强结果，而一些最新模型在扩展到 CA 和 GLA 的规模时遇到困难。
• 在某些指标上，STGCN 和 STGODE 在 CA 上的表现可超越 GWNET，但需要更多参数，突显了准确性与模型规模之间的权衡。
• 动态邻接和元数据感知模型（如 DGCRN、D2 STGNN）在较小的子数据集（SD、GBA）上表现出色，但在较大图如 CA 与 GLA 上面临可扩展性挑战。
• CA 数据集在可扩展性方面存在挑战，许多基线因内存限制而失败，强调需要可扩展的交通预测方法。
• 该数据集支持对时间分布漂移的分析（包括 2020–2021 年的疫情年份），并鼓励开发简单而有效的模型及基础预测方法。