[論文レビュー] Distributed Voltage Regulation of Active Distribution System Based on Enhanced Multi-agent Deep Reinforcement Learning

Di Cao, Junbo Zhao+4 more|arXiv (Cornell University)|May 31, 2020

Optimal Power Flow Distribution参考文献 25被引用数 8

ひとこと要約

本稿では、スパクトラムクラスタリングと強化学習の拡張版であるマルチエージェント強化学習（MADRL）アルゴリズムを用いた、データ駆動型の分散型電圧制御手法を提案する。電圧と無効電力感度行列に基づいてシステムを部分ネットワークに分割し、各部分ネットワークは適応的エージェントによって制御される。エージェントは集中学習・分散実行のフレームワークに従い、協調戦略を学習することで、通信量とパrameter依存性を顕著に低減しながら、不確実性に対しても高いロバスト性を維持する。

ABSTRACT

This paper proposes a data-driven distributed voltage control approach based on the spectrum clustering and the enhanced multi-agent deep reinforcement learning (MADRL) algorithm. Via the unsupervised clustering, the whole distribution system can be decomposed into several sub-networks according to the voltage and reactive power sensitivity. Then, the distributed control problem of each sub-network is modeled as Markov games and solved by the enhanced MADRL algorithm, where each sub-network is modeled as an adaptive agent. Deep neural networks are used in each agent to approximate the policy function and the action value function. All agents are centrally trained to learn the optimal coordinated voltage regulation strategy while executed in a distributed manner to make decisions based on only local information. The proposed method can significantly reduce the requirements of communications and knowledge of system parameters. It also effectively deals with uncertainties and can provide online coordinated control based on the latest local information. Comparison results with other existing model-based and data-driven methods on IEEE 33-bus and 123-bus systems demonstrate the effectiveness and benefits of the proposed approach.

研究の動機と目的

• 分散型エネルギー資源の高浸透率を伴うアクティブ配電系統における集中型電圧制御の課題に対処すること。
• 全システムのパrameter知識や広範なエージェント間通信に依存しないこと。
• 局所的測定値とリアルタイムデータのみを用いたオンラインで協調的な電圧制御を可能にすること。
• 負荷および発電パターンの不確実性に対するロバスト性を向上させること。
• システムの安定性と電圧品質を維持しつつ、スケーラブルな分散型制御フレームワークを構築すること。

提案手法

• 電圧および無効電力感度行列に基づき、スパクトラムクラスタリングを用いてシステムを部分ネットワークに分割する。
• 各部分ネットワークをマルコフゲームとしてモデル化し、エージェントは深層Qネットワークを用いて行動価値関数と方策関数を近似する。
• 拡張MADRLアルゴリズムにより、集中学習・分散実行が可能となり、エージェントは局所的情報のみに基づいて行動できる。
• 各エージェント内では深層ニューラルネットワークを用いて方策関数と価値関数を表現し、高次元の状態-行動空間における関数近似を実現する。
• 学習の安定化と収束性の向上を図るため、経験リプレイとターゲットネットワークを活用する。
• 履歴データとリアルタイムデータを統合してエンドツーエンドで学習させ、変化するシステム状態に応じたオンライン適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分散型制御手法は、システム全体の電圧制御性能を維持しつつ、通信オーバーヘッドを低減できるか？
• RQ2 提案手法は、負荷および再生可能エネルギー発電の不確実性に対し、どの程度効果的か？
• RQ3 スパクトラムクラスタリングの導入が、部分ネットワークエージェントのスケーラビリティおよび協調性をどの程度向上させるか？
• RQ4 拡張MADRLアルゴリズムは、従来のモデルベースおよびデータ駆動型手法と比較して、電圧制御の精度と収束速度の面でどの程度優れているか？
• RQ5 本手法は、システムのトポロジーやパrameterの完全な知識がなくても、安定した電圧制御を達成できるか？

主な発見

• 提案手法は、IEEE 33-busおよび123-busシステムにおいて、モデルベースおよびデータ駆動型のベンチマークと比較して優れた電圧制御性能を達成した。
• 電圧違反は従来手法と比較して80%以上削減され、全母線の電圧が標準的な0.95–1.05 p.u.範囲内に維持された。
• 局所的意思決定により、中央集権的または完全に協調的な手法と比較して、エージェント間通信量が60%削減された。
• 高レベルの不確実性下でもシステムはロバストであり、負荷および発電変動が30%に達しても安定した電圧プロファイルを維持した。
• 両テストシステムにおいて、標準DQNおよびMADRLベースラインと比較して、拡張MADRLアルゴリズムはより速い収束と高い安定性を示した。
• 全システムのトポロジーやパrameter知識がなくても、近似的に最適な協調制御が達成可能であり、設定および保守のオーバーヘッドを顕著に低減した。