[論文レビュー] Towards a Scalable and Flexible Simulation and Testing Environment Toolbox for Intelligent Microgrid Control

Henrik Bode, Stefan Heid+3 more|arXiv (Cornell University)|May 11, 2020

Microgrid Control and Optimization参考文献 25被引用数 4

ひとこと要約

本論文は、OpenModelicaを用いたモデリングとPythonベースのOpenAI Gymインタフェースを統合した、オープンソースでスケーラブルなシミュレーション環境「OpenModelica Microgrid Gym (OMG)」を紹介する。このツールボックスは、強化学習を含む制御アルゴリズムのプラグアンドプレイテストを可能にし、多様なマイクログリッドトポロジーと運用条件において、知能的なマイクログリッド制御戦略の標準化された評価と安全な最適化を可能にする柔軟で拡張可能なプラットフォームを提供する。

ABSTRACT

Micro- and smart grids (MSG) play an important role both for integrating renewable energy sources in conventional electricity grids and for providing power supply in remote areas. Modern MSGs are largely driven by power electronic converters due to their high efficiency and flexibility. Nevertheless, controlling MSGs is a challenging task due to highest requirements on energy availability, safety and voltage quality within a wide range of different MSG topologies. This results in a high demand for comprehensive testing of new control concepts during their development phase and comparisons with the state of the art in order to ensure their feasibility. This applies in particular to data-driven control approaches from the field of reinforcement learning (RL), whose stability and operating behavior can hardly be evaluated a priori. Therefore, the OpenModelica Microgrid Gym (OMG) package, an open-source software toolbox for the simulation and control optimization of MSGs, is proposed. It is capable of modeling and simulating arbitrary MSG topologies and offers a Python-based interface for plug \& play controller testing. In particular, the standardized OpenAI Gym interface allows for easy RL-based controller integration. Besides the presentation of the OMG toolbox, application examples are highlighted including safe Bayesian optimization for low-level controller tuning.

研究の動機と目的

• 多様なトポロジーと運用条件において、知能的なマイクログリッド制御アルゴリズムをテスト・比較するための標準的でオープンで拡張可能なプラットフォームの不足に対処すること。
• システムダイナミクスの事前知識がなくても、安全制約を伴うベイズ最適化を用いて、マイクログリッドの低レベル制御パラメータ（例：PIDゲイン）の安全で効率的なデータ駆動型最適化を可能にすること。
• 特に強化学習を対象として、OpenModelicaによる高精度なマイクログリッドモデルとPythonで実装された制御アルゴリズムとの間で、プラグアンドプレイインタフェースを提供すること。
• ハイブリッドAC/DCマイクログリッドや確率的負荷／発電条件を含む、多様なシステム設定下での制御戦略の包括的検証を可能にすること。
• 標準化されたオープンソースのシミュレーションおよびテストフレームワークを提供することで、再現可能なベンチマークと新規制御手法の開発を促進すること。

提案手法

• 任意のマイクログリッドトポロジー（電力電子コンバータ、インバーター、蓄電、負荷など）のモデリングに、バックエンドとしてOpenModelicaを活用する。
• OpenAI Gym標準インタフェースを用いたPythonベースのインタフェースを公開し、制御アルゴリズム（特に強化学習エージェント）とのシームレスな統合を可能にする。
• 性能指標に安全制約を課した、ガウス過程を用いた安全なベイズ最適化フレームワークを実装し、PID制御ゲイン（Kp, Ki）のチューニングを実現する。
• 性能指標（J）を制御ゲインの関数として定義し、システムの不安定化や部品の過負荷を回避するための安全閾値を設定する。
• シミュレーション中の正確な同期と安定性を確保するため、位相ロックループ（PLL）および補助制御コンponentsをOpenModelicaモデルに統合する。
• 多変数パラメータ探索空間を用いて制御ゲインのチューニングを実施し、性能のランドスケープと信頼性領域を可視化することで最適化を支援する。

実験結果

リサーチクエスチョン

• RQ1 多様なトポロジーにおいて、知能的なマイクログリッド制御戦略の公平で再現可能な比較を可能にする標準的でオープンソースのシミュレーションおよびテストプラットフォームを構築できるか？
• RQ2 安全なベイズ最適化などのデータ駆動型最適化手法は、システムダイナミクスの事前知識がなくても、低レベルマイクログリッド制御のチューニング中に安全性を確保できるか？
• RQ3 PID制御ゲインの異なる組み合わせにおける制御性能のばらつきはどの程度で、ガウス過程を用いて信頼性高くモデル化・最適化できるか？
• RQ4 急激な変化や平坦領域を示すマイクログリッド制御性能関数に標準的なガウス過程の不確実性モデルを適用した場合の限界は何か？
• RQ5 データ駆動型制御最適化に専門知識を統合することで、強化学習に基づくマイクログリッド制御における安全性と収束性が向上するか？

主な発見

• OMGツールボックスは、OpenModelicaを用いた任意のマイクログリッドトポロジーのシミュレーションとテストを成功裏に実現し、標準化されたPythonインタフェースを介した完全な相互運用性を実現した。
• ガウス過程を用いた安全なベイズ最適化は、性能ランドスケープの平坦領域や急激な低下を正確に予測できず、共分散仮定の不一致により過信または制約の逸脱を引き起こした。
• 最適なPID制御ゲインは Kp = 0.0125 V/A および Ki = 117.81 V/(A·s) であり、迅速な電流応答と最小限のオーバーシュート、名目電流制限の違反なしを達成した。
• 制御ゲインの性能関数には、高さが一定の領域と急激な遷移領域が存在し、標準的なGP共分散構造ではこれを正確に捉えられず、最適化の信頼性が制限された。
• Jmin = -1.06 の安全閾値を設定したにもかかわらず、急激な性能変化のモデリングが不十分であったため、GPベースの最適化は依然として安全でないパrameter領域を探索するリスクを有していた。
• 本研究は、特に専門家による事前知識を組み込まない一般的な不確実性モデル（例：ガウス過程）に依存する場合、安全でデータ駆動型のマイクログリッド制御は依然として大きな未解決課題であることを示している。