[論文レビュー] Confidence Estimation Transformer for Long-term Renewable Energy Forecasting in Reinforcement Learning-based Power Grid Dispatching

Xinhang Li, Zihao Li+8 more|arXiv (Cornell University)|Apr 10, 2022

Energy Load and Power Forecasting被引用数 5

ひとこと要約

本稿では、長期的な再生可能エネルギー予測に自信推定を組み込んだ強化学習ベースの電力系統ディスパッチングを統合した新規フレームワーク、Conformer-RLpatchingを提案する。不確実性推定とディスパッチニーズ評価メカニズムを用いて長期的出力予測を実施することで、ディスパッチの安定性と安全性を向上させ、同等の条件下で25.8%高いセキュリティスコアを達成し、国家グリッドのコンペティションで最優秀チームを上回った。

ABSTRACT

The expansion of renewable energy could help realizing the goals of peaking carbon dioxide emissions and carbon neutralization. Some existing grid dispatching methods integrating short-term renewable energy prediction and reinforcement learning (RL) have been proved to alleviate the adverse impact of energy fluctuations risk. However, these methods omit the long-term output prediction, which leads to stability and security problems on the optimal power flow. This paper proposes a confidence estimation Transformer for long-term renewable energy forecasting in reinforcement learning-based power grid dispatching (Conformer-RLpatching). Conformer-RLpatching predicts long-term active output of each renewable energy generator with an enhanced Transformer to boost the performance of hybrid energy grid dispatching. Furthermore, a confidence estimation method is proposed to reduce the prediction error of renewable energy. Meanwhile, a dispatching necessity evaluation mechanism is put forward to decide whether the active output of a generator needs to be adjusted. Experiments carried out on the SG-126 power grid simulator show that Conformer-RLpatching achieves great improvement over the second best algorithm DDPG in security score by 25.8% and achieves a better total reward compared with the golden medal team in the power grid dispatching competition sponsored by State Grid Corporation of China under the same simulation environment. Codes are outsourced in https://github.com/buptlxh/Conformer-RLpatching.

研究の動機と目的

• 既存の強化学習ベースの電力系統ディスパッチングシステムにおける長期的再生可能エネルギー予測の欠如に対処する。
• 最適潮流意思決定に長期的予測を組み込むことで、グリッドの安定性と安全性を向上させる。
• 再生可能エネルギー出力の信頼性推定メカニズムを導入することで、予測の正確性と信頼性を向上させる。
• 不要な制御行動を削減し、効率を向上させるために、ディスパッチニーズ評価メカニズムを導入する。
• セキュリティ、経済性、再生可能エネルギー活用のバランスを取る、マルチオブジェクティブな電力系統ディスパッチにおいて優れたパフォーマンスを達成する。

提案手法

• 再生可能エネルギー発電データの長期的時系列依存性をモデル化するため、強化されたTransformerアーキテクチャを採用する。
• 予測の不確実性を定量化する信頼性推定モジュールを統合し、変動が激しい状況下での耐性を向上させる。
• 長期的予測に基づいて潮流とディスパッチ戦略を最適化するため、DDPGベースの強化学習エージェントを用いる。
• 発電機出力の調整が必要かどうかを判断するディスパッチニーズ評価メカニズムを実装する。
• セキュリティ、経済効率、再生可能エネルギー活用のバランスを取るために、SG-126電力系統シミュレータ上でエンドツーエンドのシステムを訓練する。
• 予測と意思決定モジュールを統合した統一フレームワーク、Conformer-RLpatchingを構築し、リアルタイムで適応可能なディスパッチを可能にする。

実験結果

リサーチクエスチョン

• RQ1 長期的再生可能エネルギー予測は、強化学習ベースの電力系統ディスパッチの安定性と安全性を向上させ得るか？
• RQ2 長期的予測における信頼性推定は、ディスパッチ意思決定の信頼性にどのように影響するか？
• RQ3 ディスパッチニーズ評価メカニズムは、システムパフォーマンスを維持したまま、不必要な制御行動をどの程度削減できるか？
• RQ4 実際のグリッドシミュレーションにおいて、Conformer-RLpatchingは、セキュリティスコアと総報酬の両面で最先端のベースラインと比較してどのように差をつけるか？
• RQ5 長期的予測と深層強化学習の統合は、ハイブリッドエネルギーシステムにおける優れたマルチオブジェクティブ最適化を達成できるか？

主な発見

• Conformer-RLpatchingは、SG-126電力系統シミュレータにおいて、2番目に良いアルゴリズム（DDPG）と比較して25.8%高いセキュリティスコアを達成した。
• 中国国家グリッド主催の電力系統ディスパッチコンペティションにおいて、ゴールドメダルチームを上回り、同等の条件下でより高い総報酬を達成した。
• 信頼性推定モジュールは予測誤差を効果的に低減し、再生可能エネルギーの変動が激しい状況下でもディスパッチ意思決定の耐性を高めた。
• ディスパッチニーズ評価メカニズムにより、不必要な制御行動が顕著に削減され、運用効率が向上した。
• 強化されたTransformerベースの予測コンponentは、テスト環境において既存のモデルと比較して優れた長期的予測精度を示した。
• 予測と強化学習のエンドツーエンド統合により、セキュリティ、経済性、再生可能エネルギー活用のバランスをより良く実現できた。