[論文レビュー] Model-Free Voltage Regulation of Unbalanced Distribution Network Based on Surrogate Model and Deep Reinforcement Learning

Di Cao, Junbo Zhao+5 more|arXiv (Cornell University)|Jun 24, 2020

Optimal Power Flow Distribution参考文献 23被引用数 6

ひとこと要約

本稿では、歴史的データと深層強化学習（DRL）を用いて訓練されたサーロゲートモデルを用いて、非平衡三相配電系統におけるモデルフリー電圧制御手法を提案する。物理的モデルの代わりに、負荷注入と電圧変動の関係をモデル化するデータ駆動型サーロゲートモデルを導入することで、DRLがサーロゲートモデルと相互作用しながら最適制御方策を学習可能となり、系統の構造やパラメータの知識を一切必要としないにもかかわらず、IEEE 123バス系においてモデルベース手法と同等の性能を達成する。

ABSTRACT

Accurate knowledge of the distribution system topology and parameters is required to achieve good voltage controls, but this is difficult to obtain in practice. This paper develops a model-free approach based on the surrogate model and deep reinforcement learning (DRL). We have also extended it to deal with unbalanced three-phase scenarios. The key idea is to learn a surrogate model to capture the relationship between the power injections and voltage fluctuation of each node from historical data instead of using the original inaccurate model affected by errors and uncertainties. This allows us to integrate the DRL with the learned surrogate model. In particular, DRL is applied to learn the optimal control strategy from the experiences obtained by continuous interactions with the surrogate model. The integrated framework contains training three networks, i.e., surrogate model, actor, and critic networks, which fully leverage the strong nonlinear fitting ability of deep learning and DRL for online decision making. Several single-phase approaches have also been extended to deal with three-phase unbalance scenarios and the simulation results on the IEEE 123-bus system show that our proposed method can achieve similar performance as those that use accurate physical models.

研究の動機と目的

• 電圧制御における不正確または未知の配電系統構造やパラメータの課題に対処すること。
• 正確な物理的モデルに依存しないモデルフリー制御フレームワークを開発すること。
• 単一相のDRLベース電圧制御を三相非平衡系統に拡張すること。
• 歴史的データを活用して、負荷注入と電圧関係を捉えるサーロゲートモデルを訓練すること。
• サーロゲートモデル、エージェント、クライアントネットワークのエンドツーエンド訓練により、オンライン意思決定を可能とすること。

提案手法

• 負荷注入と電圧データの履歴を用いて、注入と電圧偏差の非線形関係を近似するサーロゲートモデルを訓練する。
• サーロゲートモデルが物理的潮流モデルに置き換えられ、DRLがシステムのデータ駆動型表現と相互作用できるようになる。
• エージェントネットワークによる方策学習と価値推定のためのクライアントネットワークを有する深層強化学習フレームワークを採用する。
• DRLエージェントは、経験再生とターゲットネットワークを用いて、サーロゲートモデルとの継続的相互作用を通じて最適制御行動を学習する。
• サーロゲートモデル、エージェント、クライアントの3つの深層ニューラルネットワークをエンドツーエンドで訓練し、オンライン制御意思決定を支援する。
• 本手法は、さまざまな負荷条件下でのIEEE 123バス三相非平衡配電系統で検証された。

実験結果

リサーチクエスチョン

• RQ1 非平衡配電系統の電圧制御において、正確な物理的モデルの代わりにデータ駆動型サーロゲートモデルが有効に機能するか。
• RQ2 システムのサーロゲートモデルにのみ基づいて訓練された深層強化学習が、最適制御方策をどの程度うまく学習できるか。
• RQ3 提案手法のモデルフリー手法が、非平衡三相系統においてモデルベース手法とどの程度同等の性能を発揮するか。
• RQ4 システムパラメータの明示的知識がなくても、本フレームワークが三相非平衡の複雑さを処理できるか。
• RQ5 内在的な不確実性を含むサーロゲートモデル上で訓練されたDRL方策のロバストネスと収束特性はいかがなものか。

主な発見

• 提案されたモデルフリー手法は、系統構造やパラメータの知識がなくても、IEEE 123バス系においてモデルベース手法と同等の電圧制御性能を達成した。
• サーロゲートモデルは、履歴データから非線形な電圧-注入関係を効果的に捉えており、DRL訓練のための正確なシステム表現を可能にした。
• DRLエージェントは、サーロゲートモデルとの相互作用を通じて、安定的かつ効果的な制御方策を学習し、さまざまな運転条件下でもロバストであることが示された。
• 本フレームワークは、単一相DRL電圧制御を三相非平衡ネットワークに拡張し、バランスのとれた仮定を必要とせずに高い性能を維持した。
• サーロゲートモデリングとDRLの統合により、正確なシステムモデルやリアルタイム測定に依存しない、オンラインで適応可能な電圧制御が可能になった。
• シミュレーション結果は、非平衡負荷およびネットワークの不確実性下でも、本手法が電圧を許容範囲内に維持できることを確認した。