[论文解读] DSformer: A Double Sampling Transformer for Multivariate Time Series Long-term Prediction

Chengqing Yu, Fei Wang+4 more|arXiv (Cornell University)|Aug 7, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

DSformer 是一种基于 Transformer 的新型模型，用于多变量时间序列长期预测，通过引入双采样（DS）模块，利用下采样和分段采样提取全局与局部特征，并结合时间-变量注意力（TVA）模块以建模时间相关性和变量相关性。该模型在九个真实世界数据集上实现了最先进性能，优于八个基线模型，且在准确率和效率方面均有提升。

ABSTRACT

Multivariate time series long-term prediction, which aims to predict the change of data in a long time, can provide references for decision-making. Although transformer-based models have made progress in this field, they usually do not make full use of three features of multivariate time series: global information, local information, and variables correlation. To effectively mine the above three features and establish a high-precision prediction model, we propose a double sampling transformer (DSformer), which consists of the double sampling (DS) block and the temporal variable attention (TVA) block. Firstly, the DS block employs down sampling and piecewise sampling to transform the original series into feature vectors that focus on global information and local information respectively. Then, TVA block uses temporal attention and variable attention to mine these feature vectors from different dimensions and extract key information. Finally, based on a parallel structure, DSformer uses multiple TVA blocks to mine and integrate different features obtained from DS blocks respectively. The integrated feature information is passed to the generative decoder based on a multi-layer perceptron to realize multivariate time series long-term prediction. Experimental results on nine real-world datasets show that DSformer can outperform eight existing baselines.

研究动机与目标

• 为解决现有 Transformer 模型在捕捉多变量时间序列中全局、局部及变量相关特征方面的局限性。
• 设计一种轻量化但高效的架构，通过显式建模时间序列的三种关键特征，提升长期预测准确性。
• 在保持计算效率的同时实现高性能，适用于实际部署。
• 提供一个统一框架，整合全局与局部表征及跨变量依赖关系，以提升预测性能。

提出的方法

• 双采样（DS）模块通过增大间隔的下采样提取全局、具有季节性感知的表征，同时通过分段采样保留局部、高分辨率的模式。
• DS 模块输出两个独立的特征向量——一个强调全局趋势，另一个突出局部细节——实现不同类型信息的并行处理。
• 时间-变量注意力（TVA）模块分别应用时间注意力和变量注意力机制，同时建模时间维度和变量维度的依赖关系。
• 并行堆叠的 TVA 模块独立处理全局和局部特征向量，支持多样化表征的联合学习。
• 整合后的特征被送入多层感知机解码器，实现自回归的长期预测。
• 该模型避免使用复杂的架构技巧，降低计算开销，同时保持高性能。

实验结果

研究问题

• RQ1 如何使基于 Transformer 的模型在长多变量时间序列中有效捕捉全局与局部模式？
• RQ2 显式建模变量相关性是否能提升长期预测的准确性？
• RQ3 历史长度与采样间隔之间的平衡如何影响模型性能？
• RQ4 轻量化设计能否在不牺牲效率的前提下实现最先进性能？
• RQ5 不同采样策略对特征表示质量有何影响？

主要发现

• DSformer 在九个真实世界数据集上优于八个现有基线模型，证明了其在多变量时间序列长期预测中的最先进性能。
• 当历史长度较短时，过大的采样间隔会因局部信息丢失而降低性能；中等间隔可实现最优性能。
• 在较长历史长度下，增加采样间隔可通过增强全局模式识别能力并保留局部结构来提升性能。
• 尽管具有 O(N²) 复杂度，该模型仍保持较低的计算成本，在训练效率方面优于其他 Transformer 变体。
• DS 与 TVA 模块的结合有效整合了全局、局部及跨变量依赖关系，从而在多样化数据集上实现一致的性能提升。
• 实验结果表明，DSformer 的 RMSE 和 MAE 均低于基线模型，改进幅度在 2% 至 15% 之间，具体取决于数据集和预测时域。