[论文解读] How Much Can Time-related Features Enhance Time Series Forecasting?

Chaolv Zeng, Yuan Tian+2 more|arXiv (Cornell University)|Dec 2, 2024

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出 TimeSter，一种轻量级模块，通过显式编码时间相关特征（例如小时、星期、月份）来提升长期时间序列预测性能。通过将 TimeSter 与线性主干网络结合形成 TimeLinear 模型，该模型在 Electricity 和 Traffic 等基准数据集上实现了平均 23% 的 MSE 降低，优于当前最先进模型，同时参数量显著减少。

ABSTRACT

Recent advancements in long-term time series forecasting (LTSF) have primarily focused on capturing cross-time and cross-variate (channel) dependencies within historical data. However, a critical aspect often overlooked by many existing methods is the explicit incorporation of extbf{time-related features} (e.g., season, month, day of the week, hour, minute), which are essential components of time series data. The absence of this explicit time-related encoding limits the ability of current models to capture cyclical or seasonal trends and long-term dependencies, especially with limited historical input. To address this gap, we introduce a simple yet highly efficient module designed to encode time-related features, Time Stamp Forecaster (TimeSter), thereby enhancing the backbone's forecasting performance. By integrating TimeSter with a linear backbone, our model, TimeLinear, significantly improves the performance of a single linear projector, reducing MSE by an average of 23\% on benchmark datasets such as Electricity and Traffic. Notably, TimeLinear achieves these gains while maintaining exceptional computational efficiency, delivering results that are on par with or exceed state-of-the-art models, despite using a fraction of the parameters.

研究动机与目标

• 探究在长期时间序列预测中，显式时间相关特征（如小时、星期、月份）的潜在未被充分利用价值。
• 解决现有模型仅关注历史观测而忽略时间戳中编码的周期性或季节性模式的局限性。
• 设计一种简单、高效且即插即用的模块，提升预测性能而不增加模型复杂度。
• 证明仅时间相关特征即可实现强大预测性能，尤其在稳定季节性模式下表现优异。
• 开发一种轻量但强大的模型 TimeLinear，结合时间特征编码与线性主干网络，实现高效与高精度的平衡。

提出的方法

• 提出 TimeSter，一种可学习的嵌入模块，将时间相关特征（如小时、星期、月份、季节）映射到共享潜在空间。
• 使用具有瓶颈结构的多层感知机（MLP），将时间特征投影到低维潜在表征。
• 通过可学习的加权组合（使用权衡系数 β）将时间嵌入表征与历史多变量时间序列融合。
• 将 TimeSter 集成到线性主干网络（即 TimeLinear）中，最终预测通过单个线性投影层完成。
• 应用位置编码和归一化技术，以稳定训练并提升时间特征嵌入的泛化能力。
• 采用 MSE 损失进行端到端优化，超参数根据每个数据集进行调优。

实验结果

研究问题

• RQ1 显式编码时间相关特征（如小时、星期、季节）是否能显著提升长期时间序列预测性能？
• RQ2 仅基于时间相关特征的预测与基于历史观测的预测相比，表现如何？
• RQ3 在 Electricity、Traffic 和 ETTh1 等多样化数据集上，时间相关特征的集成对模型性能的提升程度如何？
• RQ4 TimeSter 模块的最优超参数配置（如 β、卷积核大小 ksize、隐藏层大小）是什么？
• RQ5 在时间特征编码增强下，简单的线性模型能否超越复杂的最先进架构？

主要发现

• 与标准线性投影器相比，TimeLinear 在 Electricity 和 Traffic 等基准数据集上实现了平均 23% 的 MSE 降低。
• 在 Electricity 数据集上，仅使用时间相关特征（通过 TimeSter）的预测在 96 步历史窗口和 720 步预测范围下优于所有基线模型，证明了时间模式的强预测能力。
• 模型保持高度高效，在 Electricity 数据集上仅使用最佳 Transformer 模型 1.5% 的参数量，即达到最先进性能。
• 超参数敏感性分析表明，权衡系数 β 和卷积核大小 ksize 对性能有显著影响，最优值随数据集而异。
• 隐藏层大小过大或过小均会降低性能，表明需通过精细调参平衡建模能力与效率。
• 可视化结果证实，TimeSter 有效捕捉了周期性和季节性趋势，而依赖历史观测的基线模型在趋势偏离时表现不佳。