[論文レビュー] Deep Reinforcement Learning Based Optimal Energy Management of Multi-energy Microgrids with Uncertainties

Cui Yang, Yang Xu+3 more|arXiv (Cornell University)|Nov 30, 2023

Smart Grid Energy Management被引用数 8

ひとこと要約

この論文は再生可能エネルギーの不確実性の下で、マルチエネルギーミクログリッド(MEMG)向けのDRLベースのエネルギーマネジメント方案を開発し、MDPを解くためにTD3を、堅牢なスケジューリングのためにRESシナリオを生成するためにC-LSGANを用いる。

ABSTRACT

Multi-energy microgrid (MEMG) offers an effective approach to deal with energy demand diversification and new energy consumption on the consumer side. In MEMG, it is critical to deploy an energy management system (EMS) for efficient utilization of energy and reliable operation of the system. To help EMS formulate optimal dispatching schemes, a deep reinforcement learning (DRL)-based MEMG energy management scheme with renewable energy source (RES) uncertainty is proposed in this paper. To accurately describe the operating state of the MEMG, the off-design performance model of energy conversion devices is considered in scheduling. The nonlinear optimal dispatching model is expressed as a Markov decision process (MDP) and is then addressed by the twin delayed deep deterministic policy gradient (TD3) algorithm. In addition, to accurately describe the uncertainty of RES, the conditional-least squares generative adversarial networks (C-LSGANs) method based on RES forecast power is proposed to construct the scenarios set of RES power generation. The generated data of RES is used for scheduling to obtain caps and floors for the purchase of electricity and natural gas. Based on this, the superior energy supply sector can formulate solutions in advance to tackle the uncertainty of RES. Finally, the simulation analysis demonstrates the validity and superiority of the method.

研究の動機と目的

• renewable energy uncertaintyを考慮したMEMGのエネルギーマネジメントを扱う。
• MEMGディスパッチをマルコフ決定過程(MDP)として定式化し、ディープ強化学習で解く。
• スケジューリング精度を向上させるためにエネルギー変換デバイスのオフデザイン性能モデルを組み込む。
• 堅牢な計画のためにRES予測シナリオを生成する条件付き最小二乗法GAN(C-LSGAN)を用いる。

提案手法

• オフデザイン性能モデルを含むMDPとしてMEMGの運用をモデル化する。
• 不確実性の下で最適ディスパッチ方針を導くためにTwin Delayed DDPG(TD3)アルゴリズムを適用する。
• 再生可能エネルギーの予測シナリオ集合を生成するためにC-LSGANを提案する。
• 生成されたRESシナリオを用いて電力および天然ガス購入の上限と下限を計算する。
• 効果と頑健性を検証するためにシミュレーションを通じてアプローチをデモンストレーションする。

実験結果

リサーチクエスチョン

• RQ1 DRLを用いてRES不確実性に対応する MEMG ディスパッチをどのように定式化できるか。
• RQ2 デバイスのオフデザインモデルを用いた MEMG の頑健なディスパッチ方針をTD3は効果的に学習できるか。
• RQ3 C-LSGANベースのRESシナリオ生成はスケジューリングの頑健性と計画精度を改善するか。
• RQ4 不確実性下の提案DRLフレームワークの比較的利点とベースライン手法とを比較するとどうなるか。

主な発見

• RES不確実性を伴うDRLベースのMEMGエネルギーマネジメントはシミュレーションを通じて検証された。
• TD3ベースのアプローチは MEMG 設定において堅牢なディスパッチ方針を提供する。
• C-LSGANは電力と天然ガス購買の上限と下限を設定するために使用されるRESシナリオを生成し、事前計画を支援する。
• 提案手法は実施されたシミュレーションにおいて明らかな優位性と妥当性を示す。