[论文解读] ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting

Slawek Smyl, Grzegorz Dudek+1 more|arXiv (Cornell University)|Dec 5, 2021

Energy Load and Power Forecasting被引用 7

一句话总结

该论文提出ES-dRNN，一种结合指数平滑（ES）与扩张循环神经网络（dRNN）的混合模型，以提升短期负荷预测（STLF）的准确性。通过联合学习ES分量与RNN参数，该模型有效捕捉多重季节性、非线性趋势以及长/短期依赖关系，在35个欧洲国家的数据上优于统计与机器学习基线模型，点预测与预测区间（PIs）均表现更优。

ABSTRACT

Short-term load forecasting (STLF) is challenging due to complex time series (TS) which express three seasonal patterns and a nonlinear trend. This paper proposes a novel hybrid hierarchical deep learning model that deals with multiple seasonality and produces both point forecasts and predictive intervals (PIs). It combines exponential smoothing (ES) and a recurrent neural network (RNN). ES extracts dynamically the main components of each individual TS and enables on-the-fly deseasonalization, which is particularly useful when operating on a relatively small data set. A multi-layer RNN is equipped with a new type of dilated recurrent cell designed to efficiently model both short and long-term dependencies in TS. To improve the internal TS representation and thus the model's performance, RNN learns simultaneously both the ES parameters and the main mapping function transforming inputs into forecasts. We compare our approach against several baseline methods, including classical statistical methods and machine learning (ML) approaches, on STLF problems for 35 European countries. The empirical study clearly shows that the proposed model has high expressive power to solve nonlinear stochastic forecasting problems with TS including multiple seasonality and significant random fluctuations. In fact, it outperforms both statistical and state-of-the-art ML models in terms of accuracy.

研究动机与目标

• 解决具有多重季节性、非线性趋势与高变异性的时间序列所面临的短期负荷预测（STLF）挑战。
• 克服传统统计模型的局限性，后者为线性模型，难以应对动态季节模式与非线性关系。
• 通过将可解释的指数平滑与深度学习相结合，超越标准机器学习模型，在泛化能力与不确定性量化方面表现更优。
• 构建统一架构，直接处理原始时间序列，无需预处理，实现对趋势、季节性与预测映射的端到端学习。
• 实现点预测与可控覆盖的预测区间（PIs）的联合生成，提升能源市场参与者的实际应用价值。

提出的方法

• 将指数平滑（ES）作为分层组件，动态从原始时间序列中提取趋势、水平与季节性分量。
• 设计新型扩张循环单元（dRNN），以高效建模长期依赖关系，同时保持对短期变化的响应能力。
• 堆叠多层扩张RNN，以在多个时间尺度上增强表征学习能力。
• 通过使用三元组参数化损失函数，端到端联合优化ES参数与RNN映射函数。
• 通过嵌入方式引入日历特征（如星期几、节假日），以改善对日周期与周周期模式的建模。
• 采用随机权重初始化的集成方法，在无需额外超参数调优的情况下提升性能，增强模型鲁棒性与准确性。

实验结果

研究问题

• RQ1 结合指数平滑与扩张RNN的混合架构是否能在短期负荷预测中超越当前最先进的统计与机器学习模型？
• RQ2 所提出的扩张循环单元在捕捉电力负荷时间序列中的短期与长期依赖关系方面效果如何？
• RQ3 ES分量与神经网络权重的联合学习在多大程度上提升了预测准确性与不确定性量化能力？
• RQ4 该模型能否在保持高点预测精度的同时，生成具有指定覆盖度的可靠预测区间（PIs）？
• RQ5 该模型在具有不同负荷模式与季节行为的多样化欧洲国家之间是否具备良好的泛化能力？

主要发现

• ES-dRNN在35个欧洲国家的短期负荷预测任务中，于MAPE、MdAPE与RMSE指标上显著优于所有基线模型。
• ES-dRNN的集成版本相比单个模型，将MAPE降低5.51%，MdAPE降低6.05%，RMSE降低5.86%，验证了模型平均的优越性。
• 消融实验表明，ES分量（Ab1）、日历嵌入（Ab10）与扩展输入特征（Ab9）是性能最关键的三个组件。
• 该模型无需数据预处理（如分解或平稳化处理），所有变换均在内部自动学习，实现了端到端建模。
• 该模型成功生成了具有可控覆盖度的预测区间，为用户提供有价值的不确定性估计，同时保持点预测的高精度。
• 尽管参数量约为22.9K，且包含多个超参数，但训练可在标准台式机上完成（无需GPU），单个模型训练时间低于一小时。