[論文レビュー] Differential Evolution Algorithm Based Hyperparameter Selection of Gated Recurrent Unit for Electrical Load Forecasting

Anuvab Sen, Vedica Gupta+1 more|arXiv (Cornell University)|Sep 22, 2023

Energy Load and Power ForecastingEngineering被引用数 3

ひとこと要約

本論文では、電力負荷予測のための微分進化（DE）最適化付きゲート付き再帰型ユニット（GRU）モデルを提案する。DEを用いてGRUのハイパーパrameterを自動的にチューニングし、予測精度を向上させる。カナダ・オンタリオ州の電力負荷データを用いた実験により、ベースラインモデルと比較してMSEおよびMAPEが顕著に低減され、DEが電力システムにおける時系列予測のためのディープラーニングハイパーパrameter最適化に有効であることが示された。

ABSTRACT

Accurate load forecasting remains a formidable challenge in numerous sectors, given the intricate dynamics of dynamic power systems, which often defy conventional statistical models. As a response, time-series methodologies like ARIMA and sophisticated deep learning techniques such as Artificial Neural Networks (ANN) and Long Short-Term Memory (LSTM) networks have demonstrated their mettle by achieving enhanced predictive performance. In our investigation, we delve into the efficacy of the relatively recent Gated Recurrent Network (GRU) model within the context of load forecasting. GRU models are garnering attention due to their inherent capacity to adeptly capture and model temporal dependencies within data streams. Our methodology entails harnessing the power of Differential Evolution, a versatile optimization technique renowned for its prowess in delivering scalable, robust, and globally optimal solutions, especially in scenarios involving non-differentiable, multi-objective, or constrained optimization challenges. Through rigorous analysis, we undertake a comparative assessment of the proposed Gated Recurrent Network model, collaboratively fused with various metaheuristic algorithms, evaluating their performance by leveraging established numerical benchmarks such as Mean Squared Error (MSE) and Mean Absolute Percentage Error (MAPE). Our empirical investigations are conducted using power load data originating from the Ontario province, Canada. Our research findings cast a spotlight on the remarkable potential of metaheuristic-augmented Gated Recurrent Network models in substantially augmenting load forecasting precision, offering tailored, optimal hyperparameter configurations uniquely suited to each model's performance characteristics.

研究の動機と目的

• 複雑な時間的依存性による動的電力システムにおける負荷予測の不正確さという課題に対処すること。
• ゲート付き再帰型ユニット（GRU）が電気負荷時系列データをモデル化する能力を評価すること。
• 微分進化（DE）を用いてハイパーパrameterを最適化することで、GRUの予測精度を向上させること。
• MSEおよびMAPEなどの標準指標を用いて、提案されたDE最適化GRUモデルと従来のモデルを比較すること。
• 非微分可能で制約付き最適化に適したスケーラブルで堅牢なハイパーパramータチューニングフレームワークを提供すること。

提案手法

• 電気負荷時系列データの長期的時間的依存性を捉えるために、ゲート付き再帰型ユニット（GRU）モデルを採用した。
• GRUモデルの最適なハイパーパramータ設定を探索するために、メタヒューリスティック最適化アルゴリズムである微分進化（DE）を適用した。
• 目的関数として、平均二乗誤差（MSE）および平均絶対パcent誤差（MAPE）をフィットネス関数として定義した。
• モデルの性能を検証するために、カナダ・オンタリオ州の実世界の電力負荷データを用いた実験を実施した。
• MSEとMAPEの両方をバランスさせるために、DE内に多目的最適化フレームワークを導入し、評価基準全体にわたる堅牢性を確保した。
• 標準的な回帰指標を用いてモデル性能を評価し、ベースラインモデルとの結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 微分進化は、電力負荷予測のためのGRUモデルのハイパーパラメータを効果的に最適化できるか？
• RQ2 DE最適化GRUの性能は、標準GRUおよび他のベースラインモデルと比較して、MSEおよびMAPEの観点でどのように異なるか？
• RQ3 DEによるハイパーパラメータチューニングは、複雑で非定常な電力負荷データにおける予測精度にどのような影響を与えるか？
• RQ4 提案手法は、異なる評価指標およびデータ特性にわたって一般化性を示せるか？
• RQ5 微分進化のようなメタヒューリスティック最適化は、電力システムの時系列予測におけるディープラーニングモデルのハイパーパラメータチューニングにおいて、従来の手法を上回ることができるか？

主な発見

• DE最適化GRUモデルは、オンタリオ州の電力負荷データにおいて、標準GRUおよびベースラインモデルと比較して低い平均二乗誤差（MSE）を達成した。
• 提案手法は平均絶対パーセント誤差（MAPE）を顕著に低減し、相対的な予測精度の向上を示した。
• 微分進化によるハイパーパラメータチューニングは、ランダムまたはグリッドサーチに基づく設定と比較して、より堅牢で正確な予測モデルをもたらした。
• モデルはさまざまな評価指標にわたって優れた一般化性能を示し、非微分可能で多目的最適化に適したDEの有効性が裏付けられた。
• 結果から、メタヒューリスティック最適化が電力システム負荷予測におけるディープラーニングモデルのハイパーパラメータチューニングの有効で実用的な手法であることが確認された。
• 本研究は、DEに基づくハイパーパラメータ選択と組み合わせたGRUモデルが、従来の統計的およびニューラルネットワークモデルを上回る性能を発揮することを示した。