[論文レビュー] ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting

Slawek Smyl, Grzegorz Dudek+1 more|arXiv (Cornell University)|Dec 5, 2021

Energy Load and Power Forecasting被引用数 7

ひとこと要約

本稿では、短時間負荷予測（STLF）の精度を向上させるために、指数平滑法（ES）と拡張された再帰的ニューラルネットワーク（dRNN）を組み合わせたハイブリッドモデルES-dRNNを提案する。ESの成分とRNNのパラメータを同時に学習することで、複数の周期性、非線形トレンド、および長期的・短期的依存関係を効果的に捉えることができ、35カ国のヨーロッパのデータにおいて、統計的・機械学習的ベースラインを上回る性能を発揮し、点予測と予測区間（PI）の両方で改善を実現した。

ABSTRACT

Short-term load forecasting (STLF) is challenging due to complex time series (TS) which express three seasonal patterns and a nonlinear trend. This paper proposes a novel hybrid hierarchical deep learning model that deals with multiple seasonality and produces both point forecasts and predictive intervals (PIs). It combines exponential smoothing (ES) and a recurrent neural network (RNN). ES extracts dynamically the main components of each individual TS and enables on-the-fly deseasonalization, which is particularly useful when operating on a relatively small data set. A multi-layer RNN is equipped with a new type of dilated recurrent cell designed to efficiently model both short and long-term dependencies in TS. To improve the internal TS representation and thus the model's performance, RNN learns simultaneously both the ES parameters and the main mapping function transforming inputs into forecasts. We compare our approach against several baseline methods, including classical statistical methods and machine learning (ML) approaches, on STLF problems for 35 European countries. The empirical study clearly shows that the proposed model has high expressive power to solve nonlinear stochastic forecasting problems with TS including multiple seasonality and significant random fluctuations. In fact, it outperforms both statistical and state-of-the-art ML models in terms of accuracy.

研究の動機と目的

• 複数の周期性、非線形トレンド、および高い変動性を示す複雑な時系列を対象とした短時間負荷予測（STLF）の課題に取り組む。
• 線形であり、動的な周期的パターンや非線形性に対応しづらい伝統的な統計モデルの限界を克服する。
• 解釈性の高い指数平滑法とディープラーニングを統合することで、標準的な機械学習モデルを凌駕し、一般化性能と不確実性の定量化を向上させる。
• 前処理を必要とせず、生の時系列を直接処理する統合アーキテクチャを構築し、トレンド・周期性・予測マッピングのエンドツーエンド学習を可能にする。
• エネルギー市場関係者にとって実用的価値を高めるために、制御されたカバレッジを持つ点予測と予測区間（PI）の両方を提供する。

提案手法

• 指数平滑法（ES）を階層的コンponentとして統合し、生の時系列からトレンド、レベル、周期的成分を動的に抽出する。
• 長期的依存関係を効率的にモデル化しつつ短期的応答性を保持する、新規の拡張再帰セル（dRNN）を設計する。
• 複数の拡張RNN層をスタックすることで、複数の時間スケールにおける表現学習を強化する。
• 三成分構造のパrameter化された損失関数を用いて、ESパラメータとRNNマッピング関数を同時に最適化することで、エンドツーエンドの学習を実現する。
• 週単位や日単位のパターンのモデル化を向上させるために、カレンダー特徴量（例：曜日、祝日）をエンベッディングで統合する。
• 追加のハイパーパramータチューニングを必要とせず、ランダムな重み初期化を用いたアンサンブルにより性能を向上させ、耐性と正確性を高める。

実験結果

リサーチクエスチョン

• RQ1 指数平滑法と拡張RNNを組み合わせたハイブリッドアーキテクチャは、短時間負荷予測において、最先端の統計的・機械学習的モデルを上回る性能を発揮できるか？
• RQ2 提案された拡張再帰セルは、電力負荷時系列における短期的および長期的依存関係をどれほど効果的に捉えられるか？
• RQ3 ES成分とニューラルネットワーク重みの共同学習は、予測精度と不確実性の定量化をどの程度向上させるか？
• RQ4 指定されたカバレッジを持つ信頼性の高い予測区間（PI）を生成できるか、同時に高い点予測精度を維持できるか？
• RQ5 異なる負荷パターンと季節的行動を示す多様なヨーロッパ諸国にわたり、モデルは十分に一般化できるか？

主な発見

• ES-dRNNモデルは、35カ国の短時間負荷予測タスクにおいて、MAPE、MdAPE、RMSEのすべての指標で、すべてのベースラインモデルを顕著に上回った。
• アンサンブル版のES-dRNNは、個々のモデルと比較してMAPEを5.51%、MdAPEを6.05%、RMSEを5.86%低減し、モデルアンサンブルの利点を示した。
• アブレーションスタディの結果、性能に最も寄与したのはESコンponent（Ab1）、カレンダー埋め込み（Ab10）、および拡張入力特徴量（Ab9）であった。
• すべての変換が内部で学習されるため、分解や定常化などのデータ前処理を必要とせず、高い精度を達成した。
• 制御されたカバレッジを持つ予測区間を効果的に生成でき、点予測に加えてユーザーが価値ある不確実性推定を得られるようになった。
• 約229Kのパラメータと複数のハイパーパramータを有するが、GPUを搭載しない標準のデスクトップコンピュータでも学習が可能であり、1モデルあたり1時間未満で完了した。