[論文レビュー] Hierarchical Decision Making In Electricity Grid Management

Gal Dalal, Elad Gilboa+1 more|arXiv (Cornell University)|Mar 6, 2016

Smart Grid Energy Management参考文献 30被引用数 23

ひとこと要約

本稿では、電力系統の日別（DA）およびリアルタイム（RT）の信頼性を管理するために、入れ違いのマーカフ・ディシジョン・プロセス（MDP）を用いた、新しい階層的強化学習フレームワークを提案する。高レベルの方策改善と低レベルの価値関数近似を交互に繰り返すことで、IAPIアルゴリズムは、IEEE RTS-96ネットワーク上でシミュレーションされた環境において、ヒューリスティクスを上回る堅牢なDA方策を学習する。不確実性下でも信頼性が向上することを示している。

ABSTRACT

The power grid is a complex and vital system that necessitates careful reliability management. Managing the grid is a difficult problem with multiple time scales of decision making and stochastic behavior due to renewable energy generations, variable demand and unplanned outages. Solving this problem in the face of uncertainty requires a new methodology with tractable algorithms. In this work, we introduce a new model for hierarchical decision making in complex systems. We apply reinforcement learning (RL) methods to learn a proxy, i.e., a level of abstraction, for real-time power grid reliability. We devise an algorithm that alternates between slow time-scale policy improvement, and fast time-scale value function approximation. We compare our results to prevailing heuristics, and show the strength of our method.

研究の動機と目的

• 複数の時間スケールにわたる電力系統信頼性における階層的意思決定の取り扱いが困難である問題に対処すること。
• 長期的意思決定のためのリアルタイム信頼性への影響を近似する、実行可能で簡略化された代理モデルを開発すること。
• 確率的再生可能エネルギー出力を持つ大規模かつ制約付きの電力システムにおいて、スケーラブルでデータ駆動型の方策学習を可能にすること。
• シミュレーション環境を通じて、強化学習と実世界の電力系統運用の間のギャップを埋めること。
• 他の階層的・マルチスケールの信頼性が重要なシステムに対しても適応可能なフレームワークを提供すること。

提案手法

• 高レベルのDA-MDPと低レベルのRT-MDPを備えた二層構造のMDPを定式化し、それぞれ別々の状態・行動・報酬空間を有する。
• DA方策の改善とRT価値関数の精緻化を交互に繰り返す、入れ違いの近似方策改善（IAPI）アルゴリズムを設計する。
• 関数近似（例：ニューラルネットワークや線形モデル）を用いて、RT信頼性の結果を効率的に推定する価値関数近似を実施する。
• 2000エピソードごとのロールアウトベースの評価を用い、期待報酬を推定し、方策改善を導く。
• 主成分に沿って方策パラメータを射影することで、収束性と方策空間の探索を可視化する。
• AC潮流方程式を用いてシステム状態と信頼性指標を計算し、IEEE RTS-96テストシステム上でフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 階層的RLフレームワークは、確率的電力系統における日別およびリアルタイムの信頼性意思決定を効果的に管理できるか？
• RQ2 価値関数近似を用いた入れ違いの方策改善は、ヒューリスティクスベースの意思決定と比較して、信頼性および報酬の観点でどのように異なるか？
• RQ3 IAPIアルゴリズムは、高次元かつ制約付きの状態行動空間において、どのようにして高性能な方策に到達し、収束するか？
• RQ4 学習されたDA方策は、多様な日次需要プロファイルに一般化し、適切な発電機セットにマッピングできるか？
• RQ5 代理に基づく価値関数近似は、大規模電力系統におけるスケーラビリティと計算の実行可能性にどのような影響を与えるか？

主な発見

• IAPIアルゴリズムは、ランダム、コスト、エラスティックの3つの一般的なヒューリスティクスを上回る、より高い期待報酬を達成する日別方策を効果的に学習した。
• IAPIによる学習済み方策は、明確に分離された日次需要プロファイルとそれに対応する最適な発電機行動のクラスタリングを示しており、一般化能力が有効であることを示している。
• 主成分への射影による収束分析から、アルゴリズムが方策空間を探索し、局所的最小値に収束していることが判明し、安定した学習ダイナミクスを示している。
• IAPI方策下での上位1パーセンタイルの解は、反復回数を重ねるごとに分散が減少しており、方策の一貫性が向上していることを示している。
• シミュレーション環境とフレームワークは、状態空間がO(10^300)、行動空間がO(10^100)であるIEEE RTS-96ネットワーク上で検証され、現実のシステム複雑性にまでスケーラブルであることを確認した。
• 信頼性および報酬の観点で、ヒューリスティクスベースラインを上回った。複雑で不確実な環境下では、ルールベースの選択よりも学習による意思決定の価値が顕著に示された。