[论文解读] An overview and comparative analysis of Recurrent Neural Networks for Short Term Load Forecasting

Filippo Maria Bianchi, Enrico Maiorino+3 more|arXiv (Cornell University)|May 11, 2017

Energy Load and Power Forecasting参考文献 112被引用 186

一句话总结

本论文对多种递归神经网络（RNN）架构在短期负荷预测（STLF）中的应用进行了全面对比研究，包括 NARX、Echo State Networks、LSTM 和 GRU，在合成数据集和真实数据集上测试，并附有实用的配置指南。

ABSTRACT

The key component in forecasting demand and consumption of resources in a supply network is an accurate prediction of real-valued time series. Indeed, both service interruptions and resource waste can be reduced with the implementation of an effective forecasting system. Significant research has thus been devoted to the design and development of methodologies for short term load forecasting over the past decades. A class of mathematical models, called Recurrent Neural Networks, are nowadays gaining renewed interest among researchers and they are replacing many practical implementation of the forecasting systems, previously based on static methods. Despite the undeniable expressive power of these architectures, their recurrent nature complicates their understanding and poses challenges in the training procedures. Recently, new important families of recurrent architectures have emerged and their applicability in the context of load forecasting has not been investigated completely yet. In this paper we perform a comparative study on the problem of Short-Term Load Forecast, by using different classes of state-of-the-art Recurrent Neural Networks. We test the reviewed models first on controlled synthetic tasks and then on different real datasets, covering important practical cases of study. We provide a general overview of the most important architectures and we define guidelines for configuring the recurrent networks to predict real-valued time series.

研究动机与目标

• 调查并比较用于 STLF 中实值时间序列预测的最新 RNN 架构。
• 分析训练和正则化策略，以提高鲁棒性和泛化能力。
• 提供在 STLF 任务中配置和训练 RNN 的实用指南。
• 在合成基准和真实负荷数据集上评估性能，以识别优点与局限。

提出的方法

• 引入标准 RNN 框架并讨论训练挑战与损失函数。
• 回顾五种架构：Elman RNN、长短期记忆（LSTM）、门控循环单元（GRU）、NARX 神经网络，以及 Echo State Networks（ESN）。
• 描述训练过程，包括通过时间的反向传播（BPTT）及截断策略（BPTT(n,1)、BPTT(2n,n)）。
• 解释正则化方法（L1、L2、弹性网、dropout）及其在 RNN 中的适用性。
• 给出参数更新策略（SGD、动量、Nesterov、Adagrad、RMSprop、Adam）以及对梯度消失/梯度爆炸的考虑。
• 讨论梯度消失/爆炸问题及缓解技术（初始化、激活选择、正则化）。

实验结果

研究问题

• RQ1 不同的 RNN 架构（Elman、LSTM/GRU、NARX、ESN）在短期负荷预测任务中的表现如何？
• RQ2 哪些训练策略与正则化方法能为实值 STLF 时间序列带来鲁棒性表现？
• RQ3 在将 RNN 应用于真实世界 STLF 数据集时，哪些预处理与数据处理步骤最有效？
• RQ4 可以建立哪些针对合成与真实数据集的 STLF 的 RNN 配置指南？

主要发现

• RNN 架构在 STLF 任务中相较于传统的静态模型，具有表达能力来建模长程时序依赖。
• NARX 网络和 ESN 在 STLF 情况下提供有利的训练特性，可与其他 RNN 变体互补。
• 通过适当截断的 Time Backpropagation（如 BPTT(2n,n)）可在显著降低训练时间的同时实现有竞争力的性能。
• 正则化策略（弹性网、带循环共享的 dropout）可提升实值时间序列 RNN 的泛化能力。
• 多种自适应学习率方法（Adam、RMSprop）和基于动量的更新在训练 STLF 的 RNN 中效果良好。
• 本文提供了配置 RNN 以预测 STLF 中的实值时间序列时的实用指南，包括数据预处理的考虑。