[論文レビュー] DiffLoad: Uncertainty Quantification in Electrical Load Forecasting with the Diffusion Model

Zhixian Wang, Qingsong Wen+3 more|arXiv (Cornell University)|May 31, 2023

Energy Load and Power Forecasting被引用数 5

ひとこと要約

本稿では、エピステミック不確実性とアレアトリック不確実性を別々に定量化する、確率的電力負荷予測を目的とした拡散モデルベースのSeq2SeqモデルDiffLoadを提案する。エピステミック不確実性には拡散モデルを、アレアトリック不確実性には頑健なコーシー分布を用いることで、データのシフトに伴う不確実性の分離と安定性が向上し、多様なデータセットにおいてベースラインを上回る精度と不確実性のキャリブレーションを達成した。

ABSTRACT

Electrical load forecasting plays a crucial role in decision-making for power systems, including unit commitment and economic dispatch. The integration of renewable energy sources and the occurrence of external events, such as the COVID-19 pandemic, have rapidly increased uncertainties in load forecasting. The uncertainties in load forecasting can be divided into two types: epistemic uncertainty and aleatoric uncertainty. Separating these types of uncertainties can help decision-makers better understand where and to what extent the uncertainty is, thereby enhancing their confidence in the following decision-making. This paper proposes a diffusion-based Seq2Seq structure to estimate epistemic uncertainty and employs the robust additive Cauchy distribution to estimate aleatoric uncertainty. Our method not only ensures the accuracy of load forecasting but also demonstrates the ability to separate the two types of uncertainties and be applicable to different levels of loads. The relevant code can be found at \url{https://anonymous.4open.science/r/DiffLoad-4714/}.

研究の動機と目的

• 再生可能エネルギーの統合やCOVID-19パンデミックなどの外部要因に起因する電力負荷予測における不確実性の増大に起因する課題に対処すること。
• モデル関連の不確実性（エピステミック）とデータ関連の不確実性（アレアトリック）という2種類の異なる不確実性を分離・定量化し、意思決定の信頼性を向上させること。
• データノイズや分布シフトにさらされても高い予測精度を維持しながら、信頼性の高い不確実性推定を提供する手法を開発すること。
• アンサンブルやベイジアンニューラルネットワークのアプローチと比較して、計算コストを低減しつつ、不確実性のキャリブレーションと頑健性を向上させること。

提案手法

• Seq2Seqフレームワークの隠れ状態における不確実性をモデル化することで、エピステミック不確実性を推定する拡散モデルベースのSeq2Seqアーキテクチャを提案する。
• 外れ値や急激なデータシフトに対して感受性が低い頑健な重たい尾を持つコーシー分布を用いて、アレアトリック不確実性をモデル化する。
• モデルのパラメータ分布に依存しない、拡散プロセスに基づく経験的不確実性推定戦略を採用する。
• 再構成損失と不確実性を考慮した損失関数の組み合わせを用いて、予測精度と不確実性キャリブレーションの両方を最適化するエンドツーエンドの学習を実施する。
• 不確実性推定を予測ヘッドに直接統合することで、追加の推論オーバーヘッドなしにリアルタイムでの不確実性評価を可能にする。
• 異なるデータセット（GEF, COV, BDG2）におけるマルチスケール負荷予測タスクに本手法を適用し、一般化性能と頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデルのパrameter分布に依存せずに、拡散モデルを用いることで、負荷予測におけるエピステミック不確実性を効果的に推定できるか？
• RQ2 ガウス分布仮定と比較して、重たい尾を持つコーシー分布を用いることで、ノイズや分布シフトにさらされた状況下でのアレアトリック不確実性推定がどのように向上するか？
• RQ3 急激な変化を示す実世界の負荷データにおいて、本手法がエピステミック不確実性とアレアトリック不確実性をどれほど効果的に分離・定量化できるか？
• RQ4 DeepAR、アンサンブル、ベイジアンニューラルネットワークなどの既存の確率的予測ベースラインと比較して、本手法が不確実性キャリブレーションと予測精度の両面で優れているか？
• RQ5 アンサンブルやベイジアンネットワークのような標準モデルや不確実性対応手法と比較して、本手法の計算コストはどの程度か？

主な発見

• 提案手法DiffLoadは、GEFデータセットでMAPEが3.29、COVデータセットで1.91を達成し、ネイティブなDeepARや他のアブレーションバージョンを上回った。
• エピステミック不確実性の推定値は、訓練データの増加に伴い滑らかに減少し、モデルの自信が向上し、アンダーフィッティングが軽減されていることが示された。これは、ベースライン手法とは異なり、異常な増加を示さないことを意味する。
• コーシー分布の使用により、外れ値を含む高ばらつきの大きいデータセットにおいても、より安定的かつタイトな信頼区間が得られた。
• パンデミックに起因する負荷変化などの分布シフト時でも、不確実性の推定値が低く保たれたことから、外部ショックに対する頑健性が確認された。
• アンサンブルやベイジアンニューラルネットワーク手法と比較して、トレーニング時間は顕著に短く、標準的なDeepARと比較してもわずかに増加にとどまり、実運用に向けた計算効率が優れていた。
• アブレーションスタディの結果、拡散構造とコーシー分布の両方が不可欠であることが確認され、いずれかを除去すると、MAPE、CRPS、ウィンクラー得点のすべての指標で性能が低下した。