[论文解读] Historical Inertia: A Neglected but Powerful Baseline for Long Sequence Time-series Forecasting

Yue Cui, Jiandong Xie+1 more|arXiv (Cornell University)|Mar 30, 2021

Time Series Analysis and Forecasting参考文献 14被引用 5

一句话总结

本文提出了历史惯性（HI），这是一种用于长序列时间序列预测（LSTF）的简单但强大的基线方法，通过将最近的历史时间步直接用作预测结果。尽管方法简单，HI在四个真实世界数据集上相对于最先进模型实现了高达82%的相对性能提升，证明了其作为LSTF研究中一种强大且常被忽视的基线方法的有效性。

ABSTRACT

Long sequence time-series forecasting (LSTF) has become increasingly popular for its wide range of applications. Though superior models have been proposed to enhance the prediction effectiveness and efficiency, it is reckless to neglect or underestimate one of the most natural and basic temporal properties of time-series. In this paper, we introduce a new baseline for LSTF, the historical inertia (HI), which refers to the most recent historical data-points in the input time series. We experimentally evaluate the power of historical inertia on four public real-word datasets. The results demonstrate that up to 82\% relative improvement over state-of-the-art works can be achieved even by adopting HI directly as output.

研究动机与目标

• 识别并评估一种在当前研究中常被忽视的、简单但极为有效的长序列时间序列预测（LSTF）基线方法。
• 证明最近的历史数据点——即历史惯性（HI）——可在多种真实世界数据集中作为强大的预测基线。
• 探究HI在某些场景下表现优异的原因，以及如何将其优势用于改进现有预测模型。
• 倡导在未来LSTF研究中将HI作为标准基线，以确保模型比较的公平性与意义性。

提出的方法

• HI直接将输入序列 $\mathcal{X}(t)$ 的最后 $L_y$ 个时间步作为预测输出 $\hat{\mathcal{Y}}(t)$，即 $\hat{\mathcal{Y}}(t) = [X_{L_x - L_y + 1}(t), \dots, X_{L_x}(t)]$。
• 该方法要求预测长度 $L_y$ 不超过输入长度 $L_x$，这在具有大规模数据集的实际应用中通常成立。
• 实验将HI与最先进模型（如Informer和MLP）在四个公开数据集（ETTh1、ETTh2、ETTm1和Electricity）上进行比较。
• 性能通过标准指标（均方误差MSE和平均绝对误差MAE）进行评估，计算基于测试集。
• 论文探索了通过后处理加权平均方式将HI与学习模型（如MLP + HI）结合的混合建模方法。
• 还提出了一种受AutoML启发的方法，即根据输入数据的时间模式分析来指导模型选择（如HI与学习模型的比较）。

实验结果

研究问题

• RQ1 为何历史惯性（HI）基线在长序列时间序列预测中表现如此出色，尽管其方法极为简单？
• RQ2 HI在何种场景下优于或劣于学习模型？其行为背后的潜在时间特性是什么？
• RQ3 HI能否与深度学习模型有效结合以进一步提升预测性能？
• RQ4 如何将HI集成到自动化机器学习（AutoML）流程中，以实现在LSTF中自适应的模型选择？

主要发现

• 在ETTm1数据集上，当预测未来672个时间步时，HI在性能上相对于Informer等最先进模型实现了高达82%的相对提升。
• 在ETTh1数据集上，HI将720步预测时的MSE从1.215（Informer）降至0.714，MAE从0.896降至0.563。
• 当预测长度为96、288或672步时，HI在ETTm1数据集上显著优于最先进模型，此时历史数据中已充分体现出周期性模式（如日周期）。
• 对于较短的预测长度（如24或48步），HI表现较差，原因是周期性模式覆盖不足，凸显其对时间规律性的依赖。
• 在Electricity数据集上，混合模型MLP + HI始终优于MLP单独使用，720步预测时MSE和MAE最高可降低10%。
• 当预测长度为时间序列周期的整数倍时，HI的优势最为明显，因其能与目标序列在相位和幅值上实现对齐。