[論文レビュー] Resilient Load Restoration in Microgrids Considering Mobile Energy Storage Fleets: A Deep Reinforcement Learning Approach

Shuhan Yao, Jiuxiang Gu+4 more|arXiv (Cornell University)|Nov 6, 2019

Microgrid Control and Optimization参考文献 24被引用数 7

ひとこと要約

本論文は、不確実な負荷条件下での回復的負荷復旧を実現するため、移動型エネルギー貯蔵ファミリー（MESSs）とマイクログリッド資源を協調制御する深層強化学習（DRL）ベースの手法を提案する。マルコフ決定過程（MDP）と二重遅延深層決定性方策勾配（TD3）を用いることで、リアルタイムかつ協調的なMESSの運用が可能となり、3つのマイクログリッドでそれぞれ72.92%、56.66%、50.76%の負荷復旧率を達成した。これは、システムのレジリエンスを顕著に向上させた。

ABSTRACT

Mobile energy storage systems (MESSs) provide mobility and flexibility to enhance distribution system resilience. The paper proposes a Markov decision process (MDP) formulation for an integrated service restoration strategy that coordinates the scheduling of MESSs and resource dispatching of microgrids. The uncertainties in load consumption are taken into account. The deep reinforcement learning (DRL) algorithm is utilized to solve the MDP for optimal scheduling. Specifically, the twin delayed deep deterministic policy gradient (TD3) is applied to train the deep Q-network and policy network, then the well trained policy can be deployed in on-line manner to perform multiple actions simultaneously. The proposed model is demonstrated on an integrated test system with three microgrids connected by Sioux Falls transportation network. The simulation results indicate that mobile and stationary energy resources can be well coordinated to improve system resilience.

研究の動機と目的

• 大規模なブラックアウト後のマイクログリッドにおけるレジリエントなサービス復旧の課題に取り組む。
• 大規模システムにおいて、従来の混合整数凸最適化の計算複雑性と予測依存性を克服する。
• 負荷消費の不確実性を統合的に捉えた意思決定フレームワークを構築し、MESSとマイクログリッドの協調的スケジューリングを実現する。
• 深層強化学習を用いたスケーラブルかつリアルタイムなソリューションを開発し、最適化方策のオンライン展開を可能にする。
• MESSの移動性が、複数のマイクログリッド間でエネルギーを効率的に転送し、重要な負荷を迅速に復旧させる有効性を実証する。

提案手法

• マイクログリッドの電力バランス、MESSの位置、負荷の不確実性を捉える状態空間を備えた、マーカフ決定過程（MDP）として負荷復旧問題を定式化する。
• 負荷予測誤差を正規分布でモデル化し、負荷消費における外生的不確実性を表現する。
• ノード、エッジ、距離を備えた重み付きグラフとして輸送ネットワークを表現し、MESSのルーティングとスケジューリングを可能にする。
• 二重遅延深層決定性方策勾配（TD3）アルゴリズムを用いて、連続的アクションをとる方策ネットワークを訓練し、MESSのディスパッチとマイクログリッドリソースの割り当てを統合最適化する。
• リプレイバッファとターゲットネットワークを用いたオフポリシー学習を実装し、学習の安定性を高めるとともにQ値の過大評価を低減する。
• 訓練済み方策をオンラインで展開し、動的復旧シナリオにおけるリアルタイムかつ同時多変数意思決定を実現する。

実験結果

リサーチクエスチョン

• RQ1 不確実な負荷消費下で、移動型エネルギー貯蔵ファミリー（MESS）を最適にスケジューリングすることで、マイクログリッドの重要な負荷をどのように効果的に復旧できるか？
• RQ2 移動型および固定型エネルギー資源の協調的運用は、ブラックアウト後の復旧段階で、どの程度システムのレジリエンスを向上させ得るか？
• RQ3 深層強化学習は、MESSの移動性とマイクログリッド運用を含む高次元かつ非凸なスケジューリング問題を効果的に解けるか？
• RQ4 MESSの移動性の統合は、固定型のみのソリューションと比較して、負荷復旧パフォーマンスにどのような向上効果をもたらすか？
• RQ5 負荷予測の不確実性は、復旧戦略のパフォーマンスにどのような影響を及ぼし、効果的に管理されるか？

主な発見

• 提案されたDRLベースの手法は、負荷の不確実性下で、マイクログリッド#1、#2、#3でそれぞれ72.92%、56.66%、50.76%の負荷復旧率を達成した。
• システム全体のコストは351,172ドルであり、うち顧客停電コストが309,859ドル、マイクログリッド発電コストが34,872ドル、MESS発電コストが4,600ドル、輸送コストが1,840ドルであった。
• TD3アルゴリズムは40,000エピソード以内に部分最適方策に収束し、安定した学習および検証曲線が、信頼性の高い方策学習を示した。
• MESSファミリーは動的にマイクログリッド間でエネルギーを輸送した。例えば、MESS#1はマイクログリッド#1と#2の間を移動し、一方で充電し他方で放電することで負荷を復旧させた。
• MESSは同じマイクログリッド内での負荷シフトを可能にした。例えば、MESS#3は01:00–02:00にマイクログリッド#2で充電し、02:00–07:00に放電した。
• MESSの移動性と協調的ディスパッチの統合により、ネットワーク全体で柔軟かつリアルタイムなエネルギー転送が可能となり、システムのレジリエンスが顕著に向上した。