[論文レビュー] Dynamic Energy Dispatch in Isolated Microgrids Based on Deep Reinforcement Learning.

Lei Lei, Yue Tan+3 more|arXiv (Cornell University)|Feb 7, 2020

Smart Grid Energy Management参考文献 27被引用数 4

ひとこと要約

本稿では、ディーゼル発電機、太陽光発電、バッテリを備えた孤立型マイクログリッドにおける動的エネルギー配分のための、FH-DDPGおよびFH-RDPGという新しい深層強化学習アルゴリズムを提案する。問題を有限時間ホライズンの部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化し、履歴データから学習することで、不確実性下でも配分の安定性と性能が向上し、ナーヴィなアプローチおよびベースラインDRL手法を上回る結果が得られた。実世界の事例研究で検証された。

ABSTRACT

This paper focuses on deep reinforcement learning (DRL)-based energy dispatch for isolated microgrids (MGs) with diesel generators (DGs), photovoltaic (PV) panels, and a battery. A finite-horizon Partial Observable Markov Decision Process (POMDP) model is formulated and solved by learning from historical data to capture the uncertainty in future electricity consumption and renewable power generation. In order to deal with the instability problem of DRL algorithms and unique characteristics of finite-horizon models, two novel DRL algorithms, namely, FH-DDPG and FH-RDPG, are proposed to derive energy dispatch policies with and without fully observable state information. A case study using real isolated microgrid data is performed, where the performance of the proposed algorithms are compared with the myopic algorithm as well as other baseline DRL algorithms. Moreover, the impact of uncertainties on MG performance is decoupled into two levels and evaluated respectively.

研究の動機と目的

• 高比率の再生可能エネルギーと変動する負荷を有する孤立型マイクログリッドにおける動的エネルギー配分の課題に対処する。
• マイクログリッド運用に一般的に見られる有限時間ホライズンかつ部分的に観測可能な環境における深層強化学習の不安定性を解消する。
• 再生可能エネルギーの変動と負荷需要の不確実性を扱えるように設計された、特別なDRLアルゴリズムを開発し、運用コストと信頼性の最適化を図る。
• 不確実性の影響を明確に分離したレベルに分解することで、体系的な分析が可能となるように、性能への影響を分離評価する。
• 実際の孤立型マイクログリッドデータを用いたケーススタディを通じて、ナーヴィなアプローチおよび標準DRLベースラインと比較して、提案手法の優れた性能を実証する。

提案手法

• 将来的な負荷および再生可能エネルギーの不確実性をモデル化するため、エネルギー配分問題を有限時間ホライズンの部分的に観測可能なマルコフ意思決定過程（POMDP）として定式化する。
• 完全に観測可能な状態を想定した有限時間ホライズンタスクに特化した、深層決定的方策勾配（DDPG）の変種、FH-DDPGを提案し、学習の安定性を向上させる。
• 部分的に観測可能な環境を想定した、新規のDRLアルゴリズムであるFH-RDPGを導入し、完全な状態情報が入手できない状況でも効果的な方策学習を可能にする。
• 履歴マイクログリッドデータを用いてアルゴリズムを学習させ、運用コストを最小化するとともにシステムの安定性を確保する最適な配分方策を学習する。
• 不確実性の影響を2つの明確なレベルに分離する——負荷の不確実性と再生可能エネルギーの不確実性——それぞれを別々に評価・分析可能にする。
• 実際の孤立型マイクログリッドデータを用いたケーススタディを実施し、ナーヴィなアプローチおよび標準DRLベースラインと比較して、提案手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 不確実な再生可能エネルギー供給と負荷を有する孤立型マイクログリッドにおける動的エネルギー配分に、深層強化学習を効果的に適用する方法は何か？
• RQ2 標準DRLアルゴリズムを有限時間ホライズンかつ部分的に観測可能なマイクログリッド配分問題に適用するにあたり、主な課題は何か。また、それらの課題をどのように緩和できるか？
• RQ3 提案されたFH-DDPGおよびFH-RDPGアルゴリズムは、ナーヴィなアプローチおよびベースラインDRL手法と比較して、どの程度配分の安定性と性能が向上するか？
• RQ4 負荷と再生可能エネルギーの不確実性が、マイクログリッドの運用性能に個別に及ぼす影響は何か。また、これらの影響は分離可能で定量的評価が可能か？
• RQ5 完全な状態情報が入手できない状況下でも、提案されたアルゴリズムは頑健な性能を維持できるか？

主な発見

• 提案されたFH-DDPGおよびFH-RDPGアルゴリズムは、ナーヴィなアルゴリズムおよび標準DRLベースラインと比較して、配分の安定性が著しく向上し、運用コストも削減された。
• FH-RDPGは部分的観測下でも優れた性能を示し、完全な状態情報が得られない状況でも効果的に機能することが実証された。
• ケーススタディの結果、再生可能エネルギーの変動と負荷の不確実性がマイクログリッド性能に測定可能かつ明確に異なる影響を及ぼすことが明らかになった。さらに、これらの影響は別々に分離・分析可能である。
• 有限時間ホライズンの定式化により、短期的かつ実行可能な意思決定の窓に焦点を当てることで、学習効率と方策の質が向上した。
• 提案されたアルゴリズムは、特に高い不確実性条件下でも、累積コストを低く抑え、信頼性を高めるエネルギー配分を達成した。
• 実験的結果から、履歴データからの学習により、アルゴリズムが未観測のシナリオに対しても良好に一般化でき、実世界のマイクログリッド運用における頑健性が向上することが確認された。