[論文レビュー] Rethink AI-based Power Grid Control: Diving Into Algorithm Design

Xiren Zhou, Siqi Wang+4 more|arXiv (Cornell University)|Dec 23, 2020

Reinforcement Learning in Robotics参考文献 10被引用数 5

ひとこと要約

本稿では、複雑な強化学習（RL）のトレーニングを回避するために、電力系統の運転状態を最適な制御行動に直接マッピングする、模倣学習に基づくアプローチを提案する。この手法は、解けるケースに対して1ステップで解決可能であり、DRLエージェントと比較して著しく短いトレーニング時間を実現し、サンプル効率およびロバスト性においてSACやDQNベースのモデルを上回る性能を発揮する。

ABSTRACT

Recently, deep reinforcement learning (DRL)-based approach has shown promisein solving complex decision and control problems in power engineering domain.In this paper, we present an in-depth analysis of DRL-based voltage control fromaspects of algorithm selection, state space representation, and reward engineering.To resolve observed issues, we propose a novel imitation learning-based approachto directly map power grid operating points to effective actions without any interimreinforcement learning process. The performance results demonstrate that theproposed approach has strong generalization ability with much less training time.The agent trained by imitation learning is effective and robust to solve voltagecontrol problem and outperforms the former RL agents.

研究の動機と目的

• 深層強化学習（DRL）が電力系統の電圧制御において示すサンプル効率および報酬関数設計の制限を克服すること。
• 電圧制御におけるマルコフ決定過程（MDP）の本質的構造を、状態表現、アルゴリズム選定、報酬設計の観点から調査すること。
• 電力系統の状態を制御行動に直接マッピングする模倣学習を活用することで、DRLの代替手段としてより効率的かつロバストな手法を開発すること。
• 中国南方電網（SGCC）江蘇省の実際の電力系統データを用いて、提案手法の有効性を検証し、優れた一般化性能と高速な収束を示すこと。

提案手法

• 著者らは、母線電圧、電圧角、線路潮流、発電機の有効・無効電力からなる状態空間に基づき、連続的状態・連続的行動のMDPとして電圧制御をモデル化する。
• エージェントがエピソード終了時に成功した行動を学習するよう促すために、終端成功を重視する報酬関数を提案する。
• 成功したエピソードからの状態-行動ペアを含む、ランダムポリシーから収集したエキスパートのデモンストレーションを用いて、模倣学習エージェントをトレーニングする。
• エキスパートデモンストレーションデータセット D は、9,433件のトレーニングケースから構成され、1,000ステップのエピソードにおける成功した遷移の状態-行動ペアを捉えている。
• 模倣学習エージェントは、報酬形状調整やハイパーパrameterチューニングを必要とせず、任意の状態 s を、1ステップで電圧違反を解消する行動 a にマッピングするポリシー π を学習する。
• 主成分分析（PCA）を用いて、状態空間における解けるケースと解けないケースの分布を分析し、両者の間に明確な境界が存在することを明らかにした。

実験結果

リサーチクエスチョン

• RQ1 状態空間および報酬関数の設計が、電圧制御におけるDRLエージェントのサンプル効率および収束に与える影響は何か？
• RQ2 模倣学習アプローチは、電力系統の電圧制御において、トレーニング速度、一般化性能、ロバスト性の面でDRLエージェントを上回ることができるか？
• RQ3 実際の電圧違反事例のうち、発電機の電圧設定値調整のみでは根本的に解けない割合はどの程度か？
• RQ4 状態空間において、解けるケースと解けないケースの間には明確な構造的差異が存在するか？

主な発見

• 模倣学習エージェントは、トレーニングセットおよびテストセットの両方で100％の1ステップ解決率を達成し、すべての解けるケースを1回の行動で解消した。
• 模倣学習エージェントはDRLエージェントと比較して著しく短いトレーニング時間を要し、複雑な報酬関数設計やハイパーパrameterチューニングの必要がなかった。
• 本手法は優れた一般化性能を示した：デモンストレーションデータがテストケースとは異なる初期状態から得られても、97.9％のテストケースが1ステップで解決された。
• PCA分析により、状態空間において解けるケースと解けないケースの間に明確な境界が存在することが判明し、テストケースの2.1％は電圧設定値制御のみでは根本的に解けないことが判明した。
• グリーディ行動選択を用いたSACエージェントはトレーニングセットでは100％の1ステップ解決率を達成したが、テストセットでは97.8％に低下した。一方、模倣学習エージェントはテストセットでも97.9％の1ステップ解決率を維持した。
• ランダムポリシーは、1,000ステップ以内にトレーニングケースの98.7％、テストケースの98.7％を解決した。これは、約1.3％のケースが困難または解けないことを示している。