[论文解读] Forecaster: A Graph Transformer for Forecasting Spatial and Time-Dependent Data

Yang Li, José M. F. Moura|arXiv (Cornell University)|Sep 9, 2019

Traffic Prediction and Management Techniques参考文献 26被引用 24

一句话总结

Forecaster 提出了一种基于图结构的 Transformer 模型，通过使用高斯马尔可夫随机场从数据中学习空间依赖关系，并基于推断出的关系对注意力机制进行稀疏化处理。该模型在真实世界的纽约市数据上对出租车叫车需求进行预测时，相较于 SOTA 模型如 DCRNN，实现了更低的 RMSE 和 MAPE。

ABSTRACT

Spatial and time-dependent data is of interest in many applications. This task is difficult due to its complex spatial dependency, long-range temporal dependency, data non-stationarity, and data heterogeneity. To address these challenges, we propose Forecaster, a graph Transformer architecture. Specifically, we start by learning the structure of the graph that parsimoniously represents the spatial dependency between the data at different locations. Based on the topology of the graph, we sparsify the Transformer to account for the strength of spatial dependency, long-range temporal dependency, data non-stationarity, and data heterogeneity. We evaluate Forecaster in the problem of forecasting taxi ride-hailing demand and show that our proposed architecture significantly outperforms the state-of-the-art baselines.

研究动机与目标

• 解决时空预测中的复杂空间依赖、长程时间依赖、数据非平稳性以及异质性等挑战。
• 从数据中学习真实的时空依赖结构，而非依赖预定义的度量标准或先验知识（如物理距离）。
• 将数据驱动的依赖图整合进 Transformer 架构中，以提升时空动态的建模能力。
• 实现在非均匀空间网格（如城市出行数据）上的高精度多步预测。
• 在真实世界预测基准中超越现有模型（如 DCRNN 和标准 Transformer）。

提出的方法

• 使用高斯马尔可夫随机场将时空数据建模为多变量正态分布，并通过估计精度矩阵来推断依赖图。
• 通过估计图稀疏化 Lasso 的逆协方差矩阵，学习依赖图，以编码各位置之间的条件独立性。
• 基于学习到的依赖图，通过移除图中未连接位置之间的注意力连接，对 Transformer 的自注意力机制进行稀疏化处理。
• 将每个 Transformer 神经元与一个空间位置关联，并仅允许在依赖邻居之间传递信息，从而保持空间结构。
• 将异质的辅助特征（如天气、一天中的时间、节假日等）整合到输入表征中，以提升预测精度。
• 使用标准回归损失端到端训练模型，以预测多个位置的未来需求。

实验结果

研究问题

• RQ1 与启发式或预定义的邻接矩阵相比，基于数据驱动的方法学习空间依赖结构是否能显著提升预测性能？
• RQ2 基于学习图结构的稀疏化 Transformer 架构在非平稳、异质的时空数据中，能否有效捕捉长程时间依赖？
• RQ3 在真实城市出行数据中，整合辅助信息（如天气、星期几、节假日等）在多大程度上能提升预测精度？
• RQ4 图结构 Transformer 是否能在多步时空预测中超越标准 Transformer 和基于 RNN 的模型（如 DCRNN）？
• RQ5 使用高斯马尔可夫随机场进行依赖图学习，是否能提升模型在不同城市环境中的鲁棒性与泛化能力？

主要发现

• 在纽约市出租车叫车需求预测任务中，Forecaster 显著降低了 RMSE 和 MAPE，优于当前最先进基线模型（包括 DCRNN 和标准 Transformer）。
• 该模型在多步预测任务中表现优异，展现出在多样化空间位置与时间范围内的强大泛化能力。
• 使用数据学习的依赖图相比预定义的距离基础或邻接关系方法，能提供更准确的空间表征。
• 基于学习图结构对 Transformer 进行稀疏化处理，通过消除无关注意力路径，提升了训练稳定性并减少了过拟合。
• 整合如天气、星期几、节假日等异质辅助特征后，预测精度进一步提升。
• 该架构由于自注意力机制，能有效捕捉长程时间依赖；同时，空间稀疏性确保了计算效率与可解释性。