[论文解读] Long-Range Transformers for Dynamic Spatiotemporal Forecasting

Jake Grigsby, Zhe Wang+2 more|arXiv (Cornell University)|Sep 24, 2021

Time Series Analysis and Forecasting参考文献 56被引用 78

一句话总结

本文提出 Spacetimeformer，一种时空 Transformer，将每个时间点的每个变量视为一个独立输入 token，通过在没有预定义图的情况下学习动态变量关系，在交通、电力、天气和地铁客流等任务上取得具有竞争力的结果。

ABSTRACT

Multivariate time series forecasting focuses on predicting future values based on historical context. State-of-the-art sequence-to-sequence models rely on neural attention between timesteps, which allows for temporal learning but fails to consider distinct spatial relationships between variables. In contrast, methods based on graph neural networks explicitly model variable relationships. However, these methods often rely on predefined graphs that cannot change over time and perform separate spatial and temporal updates without establishing direct connections between each variable at every timestep. Our work addresses these problems by translating multivariate forecasting into a "spatiotemporal sequence" formulation where each Transformer input token represents the value of a single variable at a given time. Long-Range Transformers can then learn interactions between space, time, and value information jointly along this extended sequence. Our method, which we call Spacetimeformer, achieves competitive results on benchmarks from traffic forecasting to electricity demand and weather prediction while learning spatiotemporal relationships purely from data.

研究动机与目标

• 动机：多变量预测，以及单时刻单令牌 Transformer 在捕捉空间关系方面的局限性。
• 提出一种时空序列表征，其中每个 token 表示在给定时间的一个变量。
• 开发一个 Spacetimeformer 编码器–解码器，通过时空注意力学习动态的变量关系。
• 在从交通、电力、天气到地铁客流等基准数据集上展示具有竞争力的表现。
• 开源代码库，包含数据集和模型实现，供未来研究使用。

提出的方法

• 将多变量输入展平为一个长令牌序列，每个令牌表示在给定时间的一个变量。
• 使用 Time2Vec 对时间和变量信息进行嵌入，并结合学习的时间/变量嵌入以及位置嵌入。
• 在扩展的令牌序列上应用时空注意力，以学习动态的时空交互。
• 在 Transformer 编码器–解码器架构中，将局部注意力偏置（按变量）与全局时空注意力结合。
• 使用可扩展的注意力机制（如 Performer FAVOR+），以及可选的卷积/移位窗口来处理长序列。
• 使用专用的嵌入策略来处理缺失数据，并在原本缺失时发出信号。

实验结果

研究问题

• RQ1 Spacetimeformer 能否在长时程预测任务中达到或超越 seq2seq 模型？
• RQ2 在不依赖预定义图的前提下，模型能否与基于图的时空模型竞争？
• RQ3 时空序列表述是否使得可以直接从数据中学习到有意义的变量关系？
• RQ4 该方法对长序列和高维空间问题的扩展性如何？

主要发现

• Spacetimeformer 在从交通预测到发电、温度预测和地铁客流等基准上的表现具有竞争力。
• 在无需预定义的空间图的情况下对基于图的方法以及标准 TSF 基线表现良好。
• 注意力模式揭示了与真实空间结构对齐的学习变量关系，在定性分析中得出该结论。
• 该模型通过快速注意力和架构偏置扩展到长时空序列，同时通过专用嵌入处理缺失数据。