[论文解读] Improving Long-Horizon Forecasts with Expectation-Biased LSTM Networks

Aya Abdelsalam Ismail, Timothy Wood+1 more|arXiv (Cornell University)|Apr 18, 2018

Stock Market Forecasting Methods参考文献 13被引用 23

一句话总结

该论文提出了一种期望偏差LSTM网络，通过聚类（K-means）或目标序列平均来引入模型偏差，以提升长时序预测性能。通过在序列步骤中复制目标值并注入学习到的偏差，该方法显著降低了平均绝对误差——在阿尔茨海默病脑室体积预测任务中，相较于单变量LSTM，MAE降低了47%，并在美国电力消费预测任务中优于基线模型。

ABSTRACT

State-of-the-art forecasting methods using Recurrent Neural Net- works (RNN) based on Long-Short Term Memory (LSTM) cells have shown exceptional performance targeting short-horizon forecasts, e.g given a set of predictor features, forecast a target value for the next few time steps in the future. However, in many applica- tions, the performance of these methods decays as the forecasting horizon extends beyond these few time steps. This paper aims to explore the challenges of long-horizon forecasting using LSTM networks. Here, we illustrate the long-horizon forecasting problem in datasets from neuroscience and energy supply management. We then propose expectation-biasing, an approach motivated by the literature of Dynamic Belief Networks, as a solution to improve long-horizon forecasting using LSTMs. We propose two LSTM ar- chitectures along with two methods for expectation biasing that significantly outperforms standard practice.

研究动机与目标

• 解决使用深度RNN（特别是LSTM）进行长时序时间序列预测时的不准确性问题。
• 通过在模型中引入结构化偏差，克服长期预测中的指数级误差增长问题。
• 通过利用长时间跨度内的时序和因果依赖关系，提升多变量预测性能。
• 在真实世界数据集（阿尔茨海默病进展和美国电力消费）上验证方法的有效性。
• 提出一种新颖的训练策略，通过序列目标值复制来稳定长期梯度传播。

提出的方法

• 引入一个偏差模块，通过K-means聚类或平均方法，学习长序列中具有代表性的目标模式。
• 应用序列目标值复制：将最终目标值在整个序列的所有时间步中进行复制，以提供一致的误差信号。
• 使用Adam优化器，在500至1000个周期内训练一个两层LSTM，每层包含64个记忆单元。
• 使用可变长度序列以适应纵向数据中不规则的患者就诊时间表。
• 对输入特征（脑室体积、人口统计学特征等）进行归一化，并将时间序列转换为监督学习格式。
• 进行两次训练：一次使用标准目标值，一次使用复制后的目标值，以增强长期泛化能力。

实验结果

研究问题

• RQ1 将学习到的偏差引入LSTM是否能超越标准RNN，在长时序预测中提升准确性？
• RQ2 在序列步骤中复制目标值如何影响梯度稳定性和长期预测性能？
• RQ3 通过K-means聚类目标序列是否能产生优于简单平均或无偏差的长期预测结果？
• RQ4 所提出方法在长期医疗和能源预测任务中，与持续性模型和经典多变量LSTM基线相比表现如何？
• RQ5 在长时序预测中，偏差表示的最优聚类中心数量是多少？

主要发现

• 所提出的Model 1（采用K-means偏差，K=2）在ADNI数据集上的平均绝对误差（MAE）降低至0.002673，相较于单变量LSTM基线（0.005042）降低了47%。
• 基于平均的偏差方法也实现了0.002673的MAE，优于单变量LSTM，并与最佳K-means配置表现相当。
• 在美国电力消费预测任务中，通过K-means引入偏差在所有测试聚类数下均提升了准确性，K=2时达到最低MAE。
• 目标值复制显著提升了模型性能，尤其是在与偏差注入结合时，有效减缓了长期预测中的误差增长。
• 采用K-means偏差（K=2）的模型在阿尔茨海默病和能源数据集上均优于所有基线模型，包括经典多变量LSTM和持续性模型。
• 该方法在不同数据模态和预测时长下均表现出鲁棒性，验证了其在长期时间预测任务中的通用性。