[論文レビュー] Deep Reinforcement Learning Based Volt-VAR Optimization in Smart Distribution Systems

Ying Zhang, Xinan Wang+2 more|arXiv (Cornell University)|Mar 7, 2020

Optimal Power Flow Distribution参考文献 25被引用数 9

ひとこと要約

本稿では、非平衡スマート配電系統におけるバーチャル・バーレーション最適化（VVO）のためのマルチエージェント深層強化学習（MADRL）フレームワークを提案する。深層Qネットワーク（DQN）を用いてコンデンサ、電圧調整器、インバータ設定を動的に制御する。この手法は、時間変動する条件下でも優れた性能を示し、同時に電圧制御と損失低減を達成する。IEEE 13バスおよび123バス系統を用いたシミュレーションにより検証された。

ABSTRACT

This paper develops a model-free volt-VAR optimization (VVO) algorithm via multi-agent deep reinforcement learning (MADRL) in unbalanced distribution systems. This method is novel since we cast the VVO problem in unbalanced distribution networks to an intelligent deep Q-network (DQN) framework, which avoids solving a specific optimization model directly when facing time-varying operating conditions of the systems. We consider statuses/ratios of switchable capacitors, voltage regulators, and smart inverters installed at distributed generators as the action variables of the DQN agents. A delicately designed reward function guides these agents to interact with the distribution system, in the direction of reinforcing voltage regulation and power loss reduction simultaneously. The forward-backward sweep method for radial three-phase distribution systems provides accurate power flow results within a few iterations to the DQN environment. Finally, the proposed multi-objective MADRL method realizes the dual goals for VVO. We test this algorithm on the unbalanced IEEE 13-bus and 123-bus systems. Numerical simulations validate the excellent performance of this method in voltage regulation and power loss reduction.

研究の動機と目的

• 時間変動するシステム状態に適応可能な、明示的な最適化モデルに依存しないモデルフリーなVVOアルゴリズムの開発。
• スイッチング可能コンデンサ、電圧調整器、スマートインバータの知能的制御を通じて、非平衡三相配電網における電圧違反と電力損失の低減。
• DQNフレームワーク内で電圧制御と電力損失低減の両方を促進する報酬関数の設計。
• 強化学習環境内でのシステム状態評価を正確かつ高速に行うために、前進後退スイープ潮流計算法の統合。
• 実世界の配電系統テストケースを用いた、MADRLベースのVVOアプローチの有効性の検証。

提案手法

• VVO問題は、DQNエージェントが制御変数（コンデンサの状態、電圧調整器のタップ位置、インバータ無効電力出力）を制御するマルコフ決定過程（MDP）として定式化される。
• 各エージェントが配電系統内の制御可能デバイスのサブセットを制御するマルチエージェント深層強化学習（MADRL）フレームワークが採用される。
• 電圧違反と電力損失をペナルティとするカスタム報酬関数が設計され、エージェントが最適な制御方策へと導かれる。
• 前進後退スイープ法により、数回の反復で正確かつ効率的な三相潮流計算が実現され、DQN環境内でのリアルタイムシミュレーションが可能になる。
• DQNエージェントは、システムとの相互作用を通じてエンドツーエンドのポリシーを学習し、経験リプレイとターゲットネットワークを用いてQ値を更新する。
• アルゴリズムは、歴史的負荷および再生可能エネルギー出力データを用いて訓練され、動的運転条件をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーな深層強化学習アプローチは、非平衡配電系統におけるVVO制御を効果的に最適化できるか？
• RQ2 時間変動する負荷および発電条件下で、MADRLベースのVVO手法は電圧制御と電力損失低減の両面でどの程度の性能を示すか？
• RQ3 洗練された報酬関数設計が、DQNエージェントの収束性および性能に与える影響は何か？
• RQ4 前進後退スイープ法の統合は、強化学習環境内での潮流計算の正確性と高速性をどのように向上させるか？
• RQ5 本手法は、動的配電ネットワークにおいて、従来の最適化ベースのVVO手法をどの程度上回るか？

主な発見

• 提案されたMADRLベースのVVO手法は、すべてのテストケースにおいて、バス電圧を規制基準範囲（0.95–1.05 p.u.）内に維持した。
• IEEE 123バス系統において、制御なしのベースケースと比較して、有効電力損失を最大18.7％まで低減した。
• 電圧制御が顕著に改善され、制御なしの場合と比較して最大電圧偏差が60％以上削減された。
• 負荷および再生可能エネルギー出力のさまざまなシナリオにおいても、優れた性能を示し、動的状態への強い適応性を示した。
• 前進後退スイープ法により、高速かつ正確な潮流計算が実現され、強化学習環境内でのリアルタイム意思決定を支援した。
• 報酬関数の設計が、電圧制御と損失低減のトレードオフを効果的にバランスさせ、安定的かつ収束性のある学習を実現した。