[论文解读] BasisFormer: Attention-based Time Series Forecasting with Learnable and Interpretable Basis

Zelin Ni, Hang Yu+3 more|arXiv (Cornell University)|Oct 31, 2023

Stock Market Forecasting Methods被引用 12

一句话总结

BasisFormer 通过自监督对比学习学习数据驱动、可解释的基底，并使用带有双向交叉注意力的 Coef 模块将时间序列与基底向量对齐，然后通过聚合未来基底向量进行预测。它在六个数据集的一元与多变量预测上实现了最新的提升。

ABSTRACT

Bases have become an integral part of modern deep learning-based models for time series forecasting due to their ability to act as feature extractors or future references. To be effective, a basis must be tailored to the specific set of time series data and exhibit distinct correlation with each time series within the set. However, current state-of-the-art methods are limited in their ability to satisfy both of these requirements simultaneously. To address this challenge, we propose BasisFormer, an end-to-end time series forecasting architecture that leverages learnable and interpretable bases. This architecture comprises three components: First, we acquire bases through adaptive self-supervised learning, which treats the historical and future sections of the time series as two distinct views and employs contrastive learning. Next, we design a Coef module that calculates the similarity coefficients between the time series and bases in the historical view via bidirectional cross-attention. Finally, we present a Forecast module that selects and consolidates the bases in the future view based on the similarity coefficients, resulting in accurate future predictions. Through extensive experiments on six datasets, we demonstrate that BasisFormer outperforms previous state-of-the-art methods by 11.04\% and 15.78\% respectively for univariate and multivariate forecasting tasks. Code is available at: \url{https://github.com/nzl5116190/Basisformer}

研究动机与目标

• 激发使用针对一组时间序列数据集量身定制的可学习基底。
• 通过自适应的自监督学习学习一个基底，将历史视图与未来视图视为两种视图。
• 开发带有双向跨注意力的 Coef 模块，用于衡量时间序列与基底向量之间的相似性。
• 设计 Forecast 模块，使用学习得到的系数对未来基底向量进行聚合，从而实现准确预测。
• 演示端到端训练，并在六个真实世界数据集上展示最先进的改进。

提出的方法

• 通过对每个时间序列的历史视图和未来视图之间的自适应自监督对比学习进行基底学习。
• Coef 模块使用双向跨注意力在历史视图中计算时间序列与基底向量之间的相似系数。
• Forecast 模块将未来基底向量投影并按系数加权聚合，以预测未来数值。
• 损失设计包括：1) 预测 MSE，2) 历史视图和未来视图系数之间的 InfoNCE 对齐损失，3) 学习到的基底随时间的平滑正则化，以及一个带时间戳条件的四层 MLP 基底生成器。
• 将 BasisFormer 的 Basis、Coef 和 Forecast 组件进行端到端训练。

实验结果

研究问题

• RQ1 可学习且可解释的基底在时间序列预测中能否超越固定基底或基协变量基底？
• RQ2 我们如何鲁棒地学习在历史视图和未来视图之间一致的基底–时间序列关联？
• RQ3 基底向量数量和多头注意力对预测准确性有何影响？
• RQ4 自监督对齐损失和平滑损失对基底质量和预测性能有多重要？

主要发现

• BasisFormer 在单变量预测上比SOTA提升高达11.04%，在多变量预测上提升为15.78%。
• 在所评估的数据集上，可学习的基底显著优于固定的正弦/余弦基底和协变量嵌入。
• 在 Coef 模块中增加头数通常有帮助，直至达到某个点后性能可能下降。
• 基于 InfoNCE 的对齐损失和 Basis 模块中的平滑损失均有积极作用，它们的组合带来最佳结果。
• 该模型表现强劲，尤其在高度周期性的数据集如 Traffic 上，表明能够有效学习数据集特定的基底。