[論文レビュー] Forecasting day-ahead electricity prices: A review of state-of-the-art algorithms, best practices and an open-access benchmark

Jesus Lago, Grzegorz Marcjasz+2 more|arXiv (Cornell University)|Aug 18, 2020

Energy Load and Power Forecasting参考文献 152被引用数 406

ひとこと要約

本稿は、5つの主要市場からのオープンアクセスデータセット、最先端モデル（LEARおよびDNN）のオープンソース実装、および包括的なベストプラクティスを導入することで、日次電力価格予測のためのきめ細やかなベンチマークを提案する。深層学習アンサンブルが精度において統計モデルを上回ることを示している一方、LEARは計算効率と優れた性能のおかげで、低遅延応用において最適であることが判明した。

ABSTRACT

While the field of electricity price forecasting has benefited from plenty of contributions in the last two decades, it arguably lacks a rigorous approach to evaluating new predictive algorithms. The latter are often compared using unique, not publicly available datasets and across too short and limited to one market test samples. The proposed new methods are rarely benchmarked against well established and well performing simpler models, the accuracy metrics are sometimes inadequate and testing the significance of differences in predictive performance is seldom conducted. Consequently, it is not clear which methods perform well nor what are the best practices when forecasting electricity prices. In this paper, we tackle these issues by performing a literature survey of state-of-the-art models, comparing state-of-the-art statistical and deep learning methods across multiple years and markets, and by putting forward a set of best practices. In addition, we make available the considered datasets, forecasts of the state-of-the-art models, and a specifically designed python toolbox, so that new algorithms can be rigorously evaluated in future studies.

研究の動機と目的

• 電力価格予測（EPF）研究における標準化され、再現可能な評価の欠如に対処する。
• 5つの主要電力市場をカバーする6年間分の長期的でオープンアクセスのベンチマークデータセットを提供する。
• 公平な比較を可能にするために、最先端モデル（LEARおよびDNN）のオープンソース実装を開発・公開する。
• EPF研究における方法論的厳密性、再現性、統計的妥当性を向上させるためのベストプラクティスのセットを確立する。
• 今後の研究が共通のデータセットとベンチマークモデルを用いて、一貫した条件下で新しいモデルを評価できるようにする。

提案手法

• ヨーロッパおよび北米の主要市場から、6年間分の日次電力価格を含む、5つのオープンアクセスで長期的なデータセットを収集した。各データセットには、時間単位の価格と2つの外生変数が含まれる。
• 最先端の2つのモデルを実装・オープンソース化した：統計的予測のためのラッソ推定自己回帰（LEAR）モデルと、ベイジアンハイパーパramータおよび特徴量最適化を施した深層ニューラルネットワーク（DNN）。
• データセット、モデルの予測結果、評価ツールを統合する専用のPythonライブラリ「epftoolbox」を構築し、一貫したベンチマーク評価を可能にした。
• rMAE、sMAPE、MAPE、RMSEといった標準化された評価指標を適用し、性能差の有意性を検証する統計的検定も実施した。
• 再現性を確保するため、日次リカレブレーションを伴う厳密なアウトオブサンプル評価プロトコルを採用。トレーニング／バリデーション／テストの分割を別々に定義し、明確なデータ分割を実施した。
• すべての5つのデータセットに対して、精度指標とノンパラメトリック統計的検定を用いて、モデル性能を評価し、差の有意性を検証した。

実験結果

リサーチクエスチョン

• RQ1 多様で長期的な電力市場において、どの予測モデルが一貫して他のモデルを上回るか？
• RQ2 深層学習モデルは、LEARのような確立された統計モデルと比較して、精度と計算コストの両面でどのように異なるか？
• RQ3 電力価格予測に最も信頼性が高く統計的に妥当な評価指標は何か？
• RQ4 アンサンブル型の深層学習モデルは、個別のDNNと比較して、予測精度をどの程度向上させるか？
• RQ5 今後のEPF研究における再現性と意味のある比較を保証するための方法論的ベストプラクティスは何か？

主な発見

• 深層ニューラルネットワーク（DNN）アンサンブルは、個々のモデルおよびLEARモデルと比較して、統計的に有意な改善を示し、すべてのモデルの中で予測精度が顕著に優れている。
• LEARモデルはDNNと同等の性能を達成しているが、計算コストが最大100分の1に抑えられており、リアルタイム意思決定応用に最適である。
• rMAEはMAPEやsMAPEよりも信頼性が高く、MAPEは近似ゼロの価格に対して敏感であるため、誤った結論を導く可能性がある。
• 性能差の有意性を検証するためには統計的検定が不可欠である。統計的検定を行わなければ、EPF研究における結論はしばしば無効である。
• テストデータセットは少なくとも1年分をカバーする必要がある。1週間分の短いテスト期間では、信頼性が低く一般化できない結果が得られる。
• オープンアクセスのベンチマーク（データセットと最先端モデルの事前計算済み予測結果を含む）により、新しい予測手法の公平で再現可能かつ一貫した評価が可能になった。