[論文レビュー] Safe multi-agent deep reinforcement learning for joint bidding and maintenance scheduling of generation units

Pegah Rokhforoz, Fink, Olga|arXiv (Cornell University)|Dec 20, 2021

Smart Grid Energy Management被引用数 6

ひとこと要約

本論文は、電力市場における発電ユニットの入札戦略と予防保全保守スケジューリングを共同最適化する安全なディープ決定的方策勾配（DDPG）強化学習アルゴリズムを提案する。予測された安全フィルタをディープRLと統合することで、負荷需要の満たし方などの重要な信頼性制約が常に満たされることを保証し、Q学習よりも高い利益を達成しながらもシステムの安全性を維持する。

ABSTRACT

This paper proposes a safe reinforcement learning algorithm for generation bidding decisions and unit maintenance scheduling in a competitive electricity market environment. In this problem, each unit aims to find a bidding strategy that maximizes its revenue while concurrently retaining its reliability by scheduling preventive maintenance. The maintenance scheduling provides some safety constraints which should be satisfied at all times. Satisfying the critical safety and reliability constraints while the generation units have an incomplete information of each others' bidding strategy is a challenging problem. Bi-level optimization and reinforcement learning are state of the art approaches for solving this type of problems. However, neither bi-level optimization nor reinforcement learning can handle the challenges of incomplete information and critical safety constraints. To tackle these challenges, we propose the safe deep deterministic policy gradient reinforcement learning algorithm which is based on a combination of reinforcement learning and a predicted safety filter. The case study demonstrates that the proposed approach can achieve a higher profit compared to other state of the art methods while concurrently satisfying the system safety constraints.

研究の動機と目的

• 不完全な情報と重要な安全制約の下で発電ユニットの入札と保守スケジューリングを最適化する課題に対処する。
• 予防保全保守の実施によるシステム信頼性を確保しながら、保守コストを最小限に抑える。
• ユニットの保守期間中でさえも、常に負荷需要の満たし方を維持する。
• 連続的アクション空間とシステム全体の制約を扱えるスケーラブルで安全な強化学習フレームワークを開発する。
• 標準的なRLおよび二段階最適化の限界を克服し、不確実性とハード制約を効果的に処理する。

提案手法

• 連続的アクション空間における最適な入札戦略を学習するために、ディープ決定的方策勾配（DDPG）強化学習を適用する。
• システム全体の安全制約と信頼性制約を満たすために、元のDDPGのアクションを修正する予測安全フィルタを導入する。
• ユニットが戦略的に行動し、ISOが市場を清算するというマルチエージェント二段階意思決定問題としてシステムをモデル化する。
• 時間窓制約および容量制約（例：同時に最大2台のユニットが停止可能）を含む制約付き最適化問題として保守スケジューリングを定式化する。
• 連続的状態とアクションを扱うために、関数近似としてニューラルネットワークを用いることで、表形式Q学習に比べてスケーラビリティを向上させる。
• リアルタイムでの安全フィルタ統合：DDPGが出力するアクションが制約に違反する（例：多すぎるユニットが同時に停止）場合、フィルタが意思決定を調整して実行可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ディープ強化学習アルゴリズムは、競争的電力市場において、ハードな安全制約を満たしながら、入札と保守スケジューリングを共同最適化できるか？
• RQ2 予測安全フィルタの統合は、不完全情報を持つマルチエージェントシステムにおける制約満たしの質を、標準的なRLに比べてどのように向上させるか？
• RQ3 提案された安全DDPG手法は、利益とシステム信頼性の観点で、従来のQ学習に比べてどの程度優れているか？
• RQ4 アルゴリズムは、時間経過とともに保守頻度、コスト、およびシステム信頼性のバランスをどのように学習するか？
• RQ5 安全フィルタが存在しない場合、訓練中にシステム安定性と負荷需要の満たし方にどのような影響が生じるか？

主な発見

• 提案された安全DDPGアルゴリズムは、連続的アクション空間の取り扱いにより、Q学習よりも収束が速く、1エピソードあたりの平均利益が高かった。
• 安全フィルタは、負荷供給の喪失を引き起こす可能性がある複数ユニットの同時保守を効果的に防止した。
• 保守スケジューリングが効果的に調整された：同時に停止するユニットは2台以下であり、各ユニットは100日ごとに少なくとも1回は保守が実施された。
• ユニットあたりの平均保守コストは時間経過とともに減少し、アルゴリズムが保守をより効率的にスケジューリングしていることが示された。
• 安全フィルタがなければ、非協調的または不適切なタイミングの保守行動により、負荷需要制約に違反するリスクが生じた。
• 安全DDPGは、表形式手法が離散化誤差に苦しむ連続的アクション環境において、Q学習を利益と制約満たしの両面で上回った。