[論文レビュー] Optimal Energy System Scheduling Using A Constraint-Aware Reinforcement Learning Algorithm

Shengren Hou, Pedro P. Vergara+2 more|arXiv (Cornell University)|May 9, 2023

Smart Grid Energy Management被引用数 5

ひとこと要約

本稿では、オンラインスケジューリング中にハードな運用制約（電力バランスやランプ制限など）を強制するため、訓練済みのQネットワークを混合整数計画法（MIP）として定式化する制約認識型の深層強化学習アルゴリズム、MIP-DQNを提案する。この手法により、再生可能エネルギーが豊富な配電網において、妥当で近似的最適なエネルギーシステム運用が可能となり、最適解に対する相対誤差が13.7％に抑えられ、未学習のテスト日においても制約を厳密に満たす。

ABSTRACT

The massive integration of renewable-based distributed energy resources (DERs) inherently increases the energy system's complexity, especially when it comes to defining its operational schedule. Deep reinforcement learning (DRL) algorithms arise as a promising solution due to their data-driven and model-free features. However, current DRL algorithms fail to enforce rigorous operational constraints (e.g., power balance, ramping up or down constraints) limiting their implementation in real systems. To overcome this, in this paper, a DRL algorithm (namely MIP-DQN) is proposed, capable of extit{strictly} enforcing all operational constraints in the action space, ensuring the feasibility of the defined schedule in real-time operation. This is done by leveraging recent optimization advances for deep neural networks (DNNs) that allow their representation as a MIP formulation, enabling further consideration of any action space constraints. Comprehensive numerical simulations show that the proposed algorithm outperforms existing state-of-the-art DRL algorithms, obtaining a lower error when compared with the optimal global solution (upper boundary) obtained after solving a mathematical programming formulation with perfect forecast information; while strictly enforcing all operational constraints (even in unseen test days).

研究の動機と目的

• エネルギーシステムスケジューリングにおける深層強化学習（DRL）の制約遵守の欠如に対処すること。
• 電力バランスやランプ制限などのハードな制約下でも運用スケジュールの妥当性を保証するDRLアルゴリズムの開発。
• 高再生可能エネルギー率の状況下でも、リアルタイムかつデータ駆動型の分散エネルギー資源（DER）のスケジューリングを可能にすること。
• モデルフリーDRLと現実世界のエネルギーシステムにおけるきめ細かい妥当性要件のギャップを埋めること。
• DNN推論段階に最適化理論を統合することで、既存のDRL手法を改善すること。

提案手法

• MIP-DQNアルゴリズムは、訓練済みのQネットワークを混合整数計画法（MIP）の定式化に再構築し、運用制約をアクション空間に直接埋め込む。
• オンライン推論時、MIP定式化により、電力出力などのすべてのアクションが、電力バランス、DGのランプ制限、ESSの充放電制限といったシステム制約を厳密に満たす。
• Qネットワークは、制約違反に対するペナルティ項と報酬形状調整のスケーリング係数を含む報酬関数を用いて、オフラインでDQNベースのフレームワークで学習する。
• 近年の深層ニューラルネットワークをMIPとして表現する技術の進展を活用し、ポリシーの最適性を損なわせることなく、正確な制約遵守を実現する。
• 推論時にMIP定式化を解くことで、妥当なアクションを生成し、不適切なスケジュールが生成されないことを保証する。
• 本手法は、複数の分散発電機器およびエネルギー貯蔵システムを備えたテストシステムを用いた包括的なシミュレーションにより検証された。

Figure 5: Mean and standard deviation of the demand consumption and PV generation.

実験結果

リサーチクエスチョン

• RQ1 リアルタイムのエネルギーシステムスケジューリングにおいて、ハードな運用制約を強制できるDRLアルゴリズムを設計できるか？
• RQ2 DRLで使用される深層ニューラルネットワークを、オンライン推論時に制約の妥当性を保証できるように再構築する方法は何か？
• RQ3 不確実な再生可能エネルギー予測のもとで、提案手法MIP-DQNは、最先端のDRLアルゴリズムと比較して、スケジューリング誤差をどの程度低減できるか？
• RQ4 MIP-DQNアルゴリズムは、学習データに含まれない未学習のテスト日においても、制約の妥当性を維持できるか？
• RQ5 MIP形式で表現されたDNNの統合は、エネルギーシステムスケジューリングにおける最適性と計算可能性のトレードオフにどのように影響するか？

主な発見

• MIP-DQNアルゴリズムは、完全な予測情報が得られた場合の最適グローバル解に対して、13.7％のスケジューリング誤差を達成した。
• 提案手法は、電力バランス、ランプ制限、ESSの状態容量制限を含むすべての運用制約を、未学習のテスト日でさえ厳密に遵守した。
• MIP-DQNは、誤差が低く、制約遵守性が優れている点で、既存の最先端DRLアルゴリズムを上回った。
• 訓練済みQネットワークをMIPとして定式化することで、オンライン実行中に妥当性を維持し、不適切なアクションが選択されないことを保証した。
• 複数の分散発電機器およびエネルギー貯蔵ユニットを含む複雑な、現実世界に類似したシナリオにおいても、本手法は頑健性を示した。
• 結果から、DNNのMIP表現が、近似的最適性を損なわせることなく、安全で制約認識型の強化学習をエネルギーシステムに実現可能であることが確認された。

Figure 6: Mean and 95% confident interval for the reward, operating cost and power unbalance for the developed MIP-DQN algorithm, as well as for other DRL algorithms, during training. As expected, none of these DRL algorithms are able to enforce the power balance constraint.