[論文レビュー] Batch-Constrained Reinforcement Learning for Dynamic Distribution Network Reconfiguration

Yuanqi Gao, Wang Wei+2 more|arXiv (Cornell University)|Jun 23, 2020

Optimal Power Flow Distribution参考文献 37被引用数 9

ひとこと要約

本稿では、環境との相互作用なしに歴史的運用データから学習する、動的配電網再構成のためのデータ駆動型強化学習アルゴリズムであるバッチ制約付きソフトアクトアクリティック（BCSAC）を提案する。KL正則化とバッチ制約を用いることで外挿誤差を低減し、3つのテストシステムにおいて最先端のRLおよびモデルベース手法を上回る優れた性能とリアルタイムスケーラビリティを達成した。

ABSTRACT

Dynamic distribution network reconfiguration (DNR) algorithms perform hourly status changes of remotely controllable switches to improve distribution system performance. The problem is typically solved by physical model-based control algorithms, which not only rely on accurate network parameters but also lack scalability. To address these limitations, this paper develops a data-driven batch-constrained reinforcement learning (RL) algorithm for the dynamic DNR problem. The proposed RL algorithm learns the network reconfiguration control policy from a finite historical operational dataset without interacting with the distribution network. The numerical study results on three distribution networks show that the proposed algorithm not only outperforms state-of-the-art RL algorithms but also improves the behavior control policy, which generated the historical operational data. The proposed algorithm is also very scalable and can find a desirable network reconfiguration solution in real-time.

研究の動機と目的

• 正確なネットワークパラメータを必要とし、スケーラビリティに劣るモデルベースの動的配電網再構成（DNR）手法の限界を解消すること。
• 有限な歴史的データセットからの有効な制御方策の学習という課題に取り組み、標準的なRL手法が高い外挿誤差を示す問題を克服すること。
• 歴史的データの生成元である行動方策を上回る、データ駆動型でスケーラブルかつリアルタイム対応可能なDNRソリューションを開発すること。
• KLダイバージェンス正則化とバッチ制約を組み合わせることで、バッチRLにおける制約の満たし方と方策の安定性を確保すること。
• 実世界の多様な複雑性を示す配電網テストケースにおいて、提案手法の実現可能性と優位性を実証すること。

提案手法

• ネットワーク状態と行動の有限な歴史的データセットを用いて、動的DNRをバッチ強化学習問題として定式化する。
• 行動方策へのKLダイバージェンスによる制約を課すことで、期待累積割引報酬を最大化する、新たなバッチ制約付きソフトアクトアクリティック（BCSAC）アルゴリズムを提案する。
• 学習の安定化と外挿誤差の低減を図るため、拡張報酬関数を導入する：$ r^{ au}(s,a) = r(s,a) - au \text{KL}[ ilde{\rho}(\theta)(a|s) || \rho^b(a|s)] $。
• 期待報酬の最大化と行動方策からの乖離の最小化という二重最適化目的を有するソフトアクトアクリティックフレームワークを採用する。
• 値関数更新における収束性を保証するため、収縮写像の議論を用いて、提案された作用素$ \tilde{\tau}^{\tau} $下での値関数の収束を証明する。
• 各方策更新が行動方策に近くなるようにバッチ制約を適用する方策反復法を採用し、一般化性能とサンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 実システムとの相互作用なしに、データ駆動型バッチRLアプローチが、最先端のRLおよびモデルベース手法を上回るのか？
• RQ2 バッチRLアルゴリズムは、歴史的データを生成した行動方策をどの程度上回ることができるのか？
• RQ3 限られた歴史的ネットワーク再構成データから学習する際、KL正則化は外挿誤差をどの程度緩和できるのか？
• RQ4 提案手法は、サイズや複雑性が異なる配電網においてもリアルタイム性能とスケーラビリティを達成できるのか？
• RQ5 バッチ制約付き定式化は、不確実性や不完全なデータ下でも安定的かつ妥当な方策学習を保証できるのか？

主な発見

• 提案されたBCSACアルゴリズムは、3つのすべてのテスト配電網において、合計コスト削減の観点で最先端のRLアルゴリズムを上回った。
• BCSACは、歴史的データを生成した行動方策を上回り、学習済み方策が元の運用戦略よりも一般化性能に優れていることを示した。
• 従来のモデルベース制御器よりも著しく計算時間が短く、リアルタイム性能を達成した。
• KL正則化とバッチ制約機構のおかげで、高い制約満たし率（例：放射状構成と電圧制限）を維持した。
• 数値結果から、BCSACは特に高い不確実性下でも、ネットワーク損失とDGの発電制限を、ベースライン手法よりもより効果的に低減した。
• 理論的分析により、提案されたバッチ制約付きフレームワーク下で、値関数の収束性と学習済み方策の最適性が確認された。