[論文レビュー] An overview and comparative analysis of Recurrent Neural Networks for Short Term Load Forecasting

Filippo Maria Bianchi, Enrico Maiorino+3 more|arXiv (Cornell University)|May 11, 2017

Energy Load and Power Forecasting参考文献 112被引用数 186

ひとこと要約

この論文は、NARX、Echo State Networks、LSTM、GRUを含む短期負荷予測（STLF）のためのさまざまな再帰型ニューラルネットワークアーキテクチャの包括的な比較研究を提供します。synthetic and real datasets（注: これは英語のまま）でテストされ、実践的な設定ガイドラインを伴っています。

ABSTRACT

The key component in forecasting demand and consumption of resources in a supply network is an accurate prediction of real-valued time series. Indeed, both service interruptions and resource waste can be reduced with the implementation of an effective forecasting system. Significant research has thus been devoted to the design and development of methodologies for short term load forecasting over the past decades. A class of mathematical models, called Recurrent Neural Networks, are nowadays gaining renewed interest among researchers and they are replacing many practical implementation of the forecasting systems, previously based on static methods. Despite the undeniable expressive power of these architectures, their recurrent nature complicates their understanding and poses challenges in the training procedures. Recently, new important families of recurrent architectures have emerged and their applicability in the context of load forecasting has not been investigated completely yet. In this paper we perform a comparative study on the problem of Short-Term Load Forecast, by using different classes of state-of-the-art Recurrent Neural Networks. We test the reviewed models first on controlled synthetic tasks and then on different real datasets, covering important practical cases of study. We provide a general overview of the most important architectures and we define guidelines for configuring the recurrent networks to predict real-valued time series.

研究の動機と目的

• STLFにおける実数値時間系列予測の最先端RNNアーキテクチャを調査・比較する。
• 頑健性と一般化を向上させるトレーニングと正則化戦略を分析する。
• STLFタスクにおけるRNNの設定とトレーニングの実践的ガイドラインを提供する。
• 合成ベンチマークと実世界の負荷データセットで性能を評価し、長所と限界を特定する。

提案手法

• 標準的なRNNフレームワークを導入し、トレーニングの課題と損失関数を検討する。
• Elman RNN、Long Short-Term Memory (LSTM)、Gated Recurrent Units (GRU)、NARXニューラルネットワーク、Echo State Networks (ESN) の5つのアーキテクチャをレビューする。
• Backpropagation Through Time (BPTT) と切り詰め戦略（BPTT(n,1)、BPTT(2n,n)）を含むトレーニング手順を説明する。
• 正則化アプローチ（L1、L2、elastic net、dropout）とRNNへの適用性を説明する。
• パラメータ更新戦略（SGD、モメンタム、Nesterov、Adagrad、RMSprop、Adam）と勾配消失/爆発の考慮点を示す。
• 勾配消失/爆発の問題とそれを緩和する手法（初期化、活性化関数の選択、正則化）について議論する。

実験結果

リサーチクエスチョン

• RQ1 異なるRNNアーキテクチャ（Elman、LSTM/GRU、NARX、ESN）は短期負荷予測タスクでどのように性能を示すか。
• RQ2 実数値STLF時系列で頑健な性能を生み出すトレーニング戦略と正則化手法は何か。
• RQ3 現実世界のSTLFデータセットにRNNを適用する際、前処理とデータ処理の最も効果的な手順は何か。
• RQ4 合成データと実データセットを跨いでRNNをSTLFに設定するためのガイドラインを確立できるか。

主な発見

• RNNアーキテクチャは、従来の静的モデルと比較してSTLFタスクにおける長期的な時間依存関係をモデル化する表現力を提供する。
• NARXネットワークとESNは、STLFの文脈で他のRNNバリアントを補完する有利なトレーニング特性を提供する。
• 適切な切り詰めを伴うBPTT（例：BPTT(2n,n)）は、トレーニング時間を短縮しつつ競争力のある性能を達成できる。
• 正則化戦略（elastic net、再帰的共有を含むDropout）は、実数値時系列のRNNの一般化を改善する。
• 適応学習率法（Adam、RMSprop）とモメンタムベースの更新は、STLFのRNN訓練で有効である。
• 本論文は、STLFにおいて実数値時系列を予測するためのRNN設定に関する実践的ガイドラインを提供し、データ前処理の考慮事項を含む。