[論文レビュー] Two-Timescale Voltage Control in Distribution Grids Using Deep Reinforcement Learning

Qiuling Yang, Gang Wang+3 more|arXiv (Cornell University)|Apr 19, 2019

Optimal Power Flow Distribution参考文献 27被引用数 37

ひとこと要約

この論文は、分布網の電圧を調整するために、容量器（遅いタイムスケールは深層強化学習）とスマートインバータ（速いタイムスケールは凸最適化）を共同制御する二つのタイムスケール方式を提案し、47-bus ネットワークと IEEE 123-bus フィーダで検証します。

ABSTRACT

Modern distribution grids are currently being challenged by frequent and sizable voltage fluctuations, due mainly to the increasing deployment of electric vehicles and renewable generators. Existing approaches to maintaining bus voltage magnitudes within the desired region can cope with either traditional utility-owned devices (e.g., shunt capacitors), or contemporary smart inverters that come with distributed generation units (e.g., photovoltaic plants). The discrete on-off commitment of capacitor units is often configured on an hourly or daily basis, yet smart inverters can be controlled within milliseconds, thus challenging joint control of these two types of assets. In this context, a novel two-timescale voltage regulation scheme is developed for distribution grids by judiciously coupling data-driven with physicsbased optimization. On a faster timescale, say every second, the optimal setpoints of smart inverters are obtained by minimizing instantaneous bus voltage deviations from their nominal values, based on either the exact alternating current power flow model or a linear approximant of it; whereas, on the slower timescale (e.g., every hour), shunt capacitors are configured to minimize the longterm discounted voltage deviations using a deep reinforcement learning algorithm. Extensive numerical tests on a real-world 47- bus distribution network as well as the IEEE 123-bus test feeder using real data corroborate the effectiveness of the novel scheme.

研究の動機と目的

• 分布網における高い再生可能エネルギーと EV の浸透による電圧変動を動機づけ、対処する。
• 容量器とインバータを二つのタイムスケールで共同制御するハイブリッドなデータ駆動と物理駆動のフレームワークを提案する。
• 深層強化学習を用いて遅いタイムスケールのコンデンサ配置を学習する。
• 正確な AC モデルまたは線形化された電力フローモデルを用いて速いタイムスケールのインバータ設定値を計算する。
• 実世界および標準的なテスト系統での広範なシミュレーションを通じて有効性を実証する。

提案手法

• 遅いタイムスケールのコンデンサのオンオフ決定を深層強化学習 (DRL) で学習し、速いタイムスケールのインバータ有義無効リアクティブ電力の設定値を凸最適化で計算する二タイムスケール最適化を定式化する。
• インバータの設定値を得るために、現在のコンデンサ配置を前提とした正確な AC モデルと SOCP 緩和、または線形化された分布フロー模型のいずれかを用いる。
• コンデンサ決定をマルコフ決定過程としてモデル化し、 target network と experience replay を強化した deep Q-network (DQN) アプローチで解く。
• インバータの制約とコンデンサの構成を表現し、各タイムスロットで実現可能な無効電力サポートを確保する。
• 多数のコンデンサから生じる大きな作用空間に対処するために hyper deep Q-network を組み込む。

実験結果

リサーチクエスチョン

• RQ1 二つのタイムスケール制御フレームワークは、分散知識が完全でなくても確率的な負荷と発電の下で、バス電圧を効率的かつ効果的に調整できるか。
• RQ2 遅いタイムスケールの DRL によるコンデンサオンオフ決定は、速いタイムスケールのインバータ最適化と相乗して長期的な電圧偏差を最小化できるか。
• RQ3 提案スキーム内で、正確な AC ベースのモデルと線形化された電力フローモデルは、速いインバータ設定値の最適化をどのように支援するか。
• RQ4 ターゲットネットワークや経験再現といった修正は、この電力系統文脈で DRL の安定化につながるか。

主な発見

• 二つのタイムスケールの方式は、コンデンサとインバータを共同で管理し、分散網の電圧偏差を低減できる。
• 現在のコンデンサ配置が分かれば、速いタイムスケールのインバータ設定値は正確な AC ベースの SOCP または線形化された二次計画法によって計算できる。
• 遅いタイムスケールのコンデンサ決定は、DRL アプローチ（DQN を用いた DRL）を通じて、確率的な発電と負荷を考慮して学習される。
• 学習の安定化と収束の改善には、ターゲットネットワークと経験再生を用いる。
• 実世界の 47-bus 分布ネットワークと IEEE 123-bus テストフィーダーの実データを用いた広範な数値試験によって手法を検証した。
• コンデンサ作用空間の次元の呪いへの対処として hyper deep Q-network を採用している。