[論文レビュー] Distributional neural networks for electricity price forecasting

Grzegorz Marcjasz, Michał Narajewski+2 more|arXiv (Cornell University)|Jul 6, 2022

Energy Load and Power Forecasting参考文献 60被引用数 6

ひとこと要約

本稿では、ドイツにおける確率的デイ・アヘッド電力価格予測のための分布ニューラルネットワーク（DDNN）を提案する。深層ニューラルネットワークにパrametric出力層（正規分布またはジョンソンのSU分布）を組み合わせることで、予測分布全体をモデル化する。本手法は、高次モーメントを活用し、アンサンブル集約によるロバストで解釈可能な確率的予測を可能にすることで、最先端のベンチマーク（LASSO推定回帰および分位数回帰平均化を組み合わせた深層ニューラルネットワーク）を著しく上回る。

ABSTRACT

We present a novel approach to probabilistic electricity price forecasting which utilizes distributional neural networks. The model structure is based on a deep neural network that contains a so-called probability layer. The network's output is a parametric distribution with 2 (normal) or 4 (Johnson's SU) parameters. In a forecasting study involving day-ahead electricity prices in the German market, our approach significantly outperforms state-of-the-art benchmarks, including LASSO-estimated regressions and deep neural networks combined with Quantile Regression Averaging. The obtained results not only emphasize the importance of higher moments when modeling volatile electricity prices, but also -- given that probabilistic forecasting is the essence of risk management -- provide important implications for managing portfolios in the power sector.

研究の動機と目的

• 変動が激しい市場における、シンプルで解釈可能かつ計算効率の良い確率的電力価格予測手法の開発。
• 特にCNNやRNNのような複雑なアーキテクチャと比較して、電力価格予測における分布ニューラルネットワークの文献におけるギャップを埋める。
• 予測分布全体（高次モーメントを含む）をモデル化することで、電力取引におけるリスク管理性能が向上することを示す。
• 他の電力市場およびデータタイプに適用可能な、完全自動化かつオープンソースの予測フレームワークの提供。

提案手法

• モデルは、標準的な深層ニューラルネットワーク（マルチレイヤーパーセプトロン）を用い、確率分布をパrameter化するカスタム出力層を備える（正規分布は2パラメータ、ジョンソンのSU分布は4パラメータ）。
• ネットワークは、予測分布の精度を最適化するため、連続ランク確率スコア（CRPS）を損失関数として、エンド・ツー・エンドで訓練される。
• 最適なアーキテクチャおよび入力特徴量の選定のため、繰り返し試行とローリング・ウィンドウ交差検証を用いたハイパーパramータチューニングが実施される。
• 複数のDDNNモデル（DDNN-JSU-Ens）をアンサンブル化することで予測の安定化と性能向上を図り、重み付き平均による性能集約が行われる。
• 予測分布から点予測（例：中央値または平均）を導出可能であり、これにより既存の評価フレームワークとの互換性が保証される。
• 本手法はTensorFlowおよびKerasを用いて実装され、再現性および広範な応用を目的にオープンソースコードが公開されている。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック出力層を備えたシンプルな分布ニューラルネットワークが、分位数回帰平均化を組み合わせた場合、確率的電力価格予測において最先端の点予測モデルを上回るか？
• RQ2 ジョンソンのSU分布による高次モーメントのモデル化は、正規分布仮定と比較して、変動が激しい電力市場における予測精度を向上させるか？
• RQ3 提案手法であるDDNNの性能は、LASSO推定自己回帰や分位数回帰平均化を組み合わせた深層ニューラルネットワークといったベンチマークモデルと比較してどうなるか？
• RQ4 ハイパーパラメータチューニングのばらつきがモデル性能に与える影響はどの程度で、アンサンブル手法がその不安定性を緩和できるか？
• RQ5 完全自動化され、解釈可能で計算効率の良い分布ニューラルネットワークが、実世界の電力価格予測に有効に適用可能か？

主な発見

• ジョンソンのSU分布を用いたDDNN（DDNN-JSU-Ens）は、連続ランク確率スコア（CRPS）において、すべてのベンチマークを著しく上回り、変動が激しい電力価格において高次モーメントをモデル化することが重要であることを示している。
• DDNN-JSU-Ensは、中央値（50パーセンタイル）予測の平均絶対誤差において、点予測用ニューラルネットワークのアンサンブルを上回る唯一の手法である。
• ハイパーパラメータチューニングでは試行ごとに著しい結果のばらつきが生じ、予測外のCRPSで最大10%の差が認められ、局所最適解に陥りやすく、アンサンブル平均化による性能安定化の必要性が示された。
• 最も重要な入力特徴量は、前日価格、当日の負荷および再生可能エネルギー（RES）予測、前日のRES予測、および最近のガス価格であり、それ以上のラグは相対的に重要性が低い。
• 本手法は計算効率が高く、解釈可能であり、既存の点予測用DNNを分布型に変換する際の修正が最小限で済む。
• オープンソース実装により、他の電力市場およびデータセットへの直接適用が可能となり、電力部門のリスク管理分野における広範な採用を支援する。