[论文解读] TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables

Yuxuan Wang, Haixu Wu+7 more|arXiv (Cornell University)|Feb 29, 2024

Time Series Analysis and Forecasting被引用 46

一句话总结

TimeXer 通过将外生变量引入系列级变变量嵌入、补丁级内生令牌和跨注意力，增强了规范 Transformer 对内生时间序列的预测能力，在现实世界基准上实现了最先进的结果。

ABSTRACT

Deep models have demonstrated remarkable performance in time series forecasting. However, due to the partially-observed nature of real-world applications, solely focusing on the target of interest, so-called endogenous variables, is usually insufficient to guarantee accurate forecasting. Notably, a system is often recorded into multiple variables, where the exogenous variables can provide valuable external information for endogenous variables. Thus, unlike well-established multivariate or univariate forecasting paradigms that either treat all the variables equally or ignore exogenous information, this paper focuses on a more practical setting: time series forecasting with exogenous variables. We propose a novel approach, TimeXer, to ingest external information to enhance the forecasting of endogenous variables. With deftly designed embedding layers, TimeXer empowers the canonical Transformer with the ability to reconcile endogenous and exogenous information, where patch-wise self-attention and variate-wise cross-attention are used simultaneously. Moreover, global endogenous tokens are learned to effectively bridge the causal information underlying exogenous series into endogenous temporal patches. Experimentally, TimeXer achieves consistent state-of-the-art performance on twelve real-world forecasting benchmarks and exhibits notable generality and scalability. Code is available at this repository: https://github.com/thuml/TimeXer.

研究动机与目标

• 说明在现实世界时间序列中利用外生变量来提升预测准确性的必要性。
• 提出一种基于 Transformer 的框架，在不进行架构修改的情况下整合内生信息和外生信息。
• 设计嵌入方案，使补丁级时间建模和系列级跨变量交互成为可能。
• 在带外生输入的短期和长期预测基准上展示出强劲的实证性能。

提出的方法

• 引入 EnVariateEmbed 和 ExVariateEmbed，将内生序列和外生序列投影到一个共同的 D 维变变量空间。
• 将内生序列嵌入为补丁级时间令牌，以捕捉序列内的时序依赖。
• 对内生和外生变量都使用系列级变变量令牌，以建模多变量相关性。
• 对内生令牌应用补丁级自注意力以学习时序依赖；从内生变变量令牌到外生变变量令牌的变变量级交叉注意力以融合信息。
• 通过线性解码器预测内生未来，并使用 L2 损失进行优化。
• 在不进行架构修改的情况下维持规范 Transformer 结构，依赖嵌入策略来协调外生信息。

实验结果

研究问题

• RQ1 在可用外生变量时，TimeXer 是否能提高内生序列的预测准确性？
• RQ2 嵌入选择（时序补丁 vs. 系列级变变量）如何影响性能与效率？
• RQ3 内生变变量令牌与外生变变量令牌之间的交叉注意力是否能揭示可解释的多变量关系？
• RQ4 TimeXer 对缺失或错位的外生数据有多强的鲁棒性，外生回看长度如何影响性能？
• RQ5 TimeXer 在多样化的现实世界数据集上对短期和长期预测是否都有效？

主要发现

• TimeXer 在十二个现实世界预测基准的短期和长期设置中实现了最先进的性能。
• 消融研究表明，所提出的设计（内生补丁令牌加上带外生变变量令牌的内生变变量令牌与跨注意力）优于替代嵌入。
• TimeXer 在部分外生数据缺失的情况下，仍具竞争力，展示了对数据质量问题的鲁棒性。
• 对变变量令牌的交叉注意力产生可解释的注意力图，与内生变量和外生变量之间的已知关系一致。
• 增加外生回看长度通常会提升预测性能，凸显外部上下文的价值。