[論文レビュー] Performance Comparison of Deep RL Algorithms for Energy Systems Optimal Scheduling

Shengren Hou, Edgar Mauricio Salazar Duque+2 more|arXiv (Cornell University)|Aug 1, 2022

Smart Grid Energy Management被引用数 4

ひとこと要約

本稿では、エネルギー管理系におけるリアルタイム最適スケジューリングを目的として、深層強化学習（DRL）アルゴリズム（DDPG、TD3、SAC、PPO）を評価している。PPOは他のDRL手法に比べ、運用コストと技術的制約のバランスを最も良く果たしているが、ピーク需要が高くなると全手法とも実行可能性に欠けることが明らかになった。これは、DRLベースのエネルギー管理における制約強制メカニズムの改善が求められることを示唆している。

ABSTRACT

Taking advantage of their data-driven and model-free features, Deep Reinforcement Learning (DRL) algorithms have the potential to deal with the increasing level of uncertainty due to the introduction of renewable-based generation. To deal simultaneously with the energy systems' operational cost and technical constraints (e.g, generation-demand power balance) DRL algorithms must consider a trade-off when designing the reward function. This trade-off introduces extra hyperparameters that impact the DRL algorithms' performance and capability of providing feasible solutions. In this paper, a performance comparison of different DRL algorithms, including DDPG, TD3, SAC, and PPO, are presented. We aim to provide a fair comparison of these DRL algorithms for energy systems optimal scheduling problems. Results show DRL algorithms' capability of providing in real-time good-quality solutions, even in unseen operational scenarios, when compared with a mathematical programming model of the energy system optimal scheduling problem. Nevertheless, in the case of large peak consumption, these algorithms failed to provide feasible solutions, which can impede their practical implementation.

研究の動機と目的

• リアルタイムのエネルギー系最適スケジューリング問題を解くために、ポリシーに基づく深層強化学習（DRL）アルゴリズムの性能を評価すること。
• 特に電力バランスおよびグリッドへの送受電制限を満たすために、ペナルティに基づく報酬関数設計が制約満たしに与える影響を調査すること。
• 数学的プログラミングのベンチマークと比較して、DRLアルゴリズムのロバストネスおよび未観測の運用シナリオにおける実行可能性を比較すること。
• 解の品質および制約強制に影響を与えるハイパーパrameter、特にペナルティ係数σ₂の感受性を同定すること。
• 技術的制約を伴う現実世界のエネルギー系において、DRLベースのスケジューリングの実用的実行可能性を評価すること。

提案手法

• 連続的な行動および状態空間を持つマルコフ決定過程（MDP）としてエネルギー系スケジューリング問題を定式化した。
• 運用コストの最小化と電力アンバランスに対するペナルティ項を組み合わせた報酬関数を設計し、係数σ₁およびσ₂を用いてトレードオフを調整した。
• 最新の4つのDRLアルゴリズム（DDPG、TD3、SAC、PPO）を実装し、すべての手法で深層ニューラルネットワークを関数近似に用いた。
• 最適な解の品質と制約の実行可能性をベンチマークとして、混合整数二次計画法（MIQP）モデルを用いた。
• ペナルティ係数σ₂の感度分析を実施し、電力アンバランスおよび運用コストに与える影響を評価した。
• グリッド送受電制限（P̄ᶜ）と異なるσ₂値（20、50、100）の下で、10時間ステップにわたって性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム制約下におけるエネルギー系最適スケジューリングにおいて、DRLアルゴリズム（DDPG、TD3、SAC、PPO）の性能はどのように比較されるか？
• RQ2 報酬関数におけるペナルティ係数σ₂が電力バランスおよび運用コストに与える影響は何か？
• RQ3 グリッド送受電電力制限を引き上げることで、DRLベースのスケジューリングの実行可能性および性能にどのような影響があるか？
• RQ4 DRLアルゴリズムは、未観測の運用シナリオに一般化可能であり、かつ制約の実行可能性を維持できるか？
• RQ5 エネルギー系スケジューリングにおいて、コスト最小化と制約強制の両立を最もよく果たすDRLアルゴリズムはどれか？

主な発見

• PPOは、特にピーク需要が高い状況下でも、DDPG、TD3、SACに比べ運用コストと制約満たしの両面で優れた性能を示した。
• ペナルティ係数σ₂を20から100に引き上げることで、電力アンバランスが顕著に減少し、PPOおよびSACはσ₂ = 100でほぼゼロのアンバランスを達成した。
• DDPGおよびTD3はPPOおよびSACに比べσ₂に対して感受性が低く、すべての値で一貫したアンバランス低減を示した。
• すべてのDRLアルゴリズムが、大規模なピーク消費シナリオでは実行可能な解を提供できなかった。これは、現実世界への展開に向けた重要な制限を示している。
• グリッド送受電制限（P̄ᶜ）は解の実行可能性に顕著な影響を与え、高い制限値は行動空間の柔軟性を高めた。
• 良好な一般化性能とリアルタイム性能を示したが、DRL手法はモデルベース最適化と比較して安全性の保証に欠ける。特に、電力バランスのような等式制約の強制において顕著である。