[論文レビュー] An Intelligent Control Strategy for buck DC-DC Converter via Deep Reinforcement Learning

Chenggang Cui, Nan Yan+1 more|arXiv (Cornell University)|Aug 11, 2020

Microgrid Control and Optimization参考文献 19被引用数 8

ひとこと要約

本論文は、定常電力負荷（CPLs）を有する直流マイクログリッドにおけるバッキングDC-DCコンバータの制御戦略として、モデルフリーのディープQネットワーク（DQN）を用いた深層強化学習（DRL）に基づく手法を提案する。報酬に基づく学習により、事前のシステム知識がなくても動的条件下でも安定したバス電圧を達成する。シミュレーションにおいて多様なシナリオで、従来の手法を上回る性能を発揮した。

ABSTRACT

As a typical switching power supply, the DC-DC converter has been widely applied in DC microgrid. Due to the variation of renewable energy generation, research and design of DC-DC converter control algorithm with outstanding dynamic characteristics has significant theoretical and practical application value. To mitigate the bus voltage stability issue in DC microgrid, an innovative intelligent control strategy for buck DC-DC converter with constant power loads (CPLs) via deep reinforcement learning algorithm is constructed for the first time. In this article, a Markov Decision Process (MDP) model and the deep Q network (DQN) algorithm are defined for DC-DC converter. A model-free based deep reinforcement learning (DRL) control strategy is appropriately designed to adjust the agent-environment interaction through the rewards/penalties mechanism towards achieving converge to nominal voltage. The agent makes approximate decisions by extracting the high-dimensional feature of complex power systems without any prior knowledge. Eventually, the simulation comparison results demonstrate that the proposed controller has stronger self-learning and self-optimization capabilities under the different scenarios.

研究の動機と目的

• 変動する再生可能エネルギーと定常電力負荷（CPLs）によって引き起こされる直流マイクログリッド内の電圧不安定性を解消すること。
• 動的運転条件に適応可能な知能的でモデルフリーのバッキングDC-DCコンバータ制御戦略を開発すること。
• 詳細なシステムモデルが不要な深層強化学習（DRL）を活用し、リアルタイムでの電圧制御を実現すること。
• 複雑で不確実性を伴う環境下で、従来の制御手法と比較して優れた動的応答性とロバスト性を向上させること。

提案手法

• 順序的な意思決定を可能にするために、DC-DCコンバータの制御問題をマルコフ決定過程（MDP）として定式化した。
• 環境との相互作用を通じて最適な制御行動を学習するディープQネットワーク（DQN）エージェントを設計した。
• ノミナル値からの電圧偏差をペナルティ化する報酬関数を定義し、エージェントが安定運用に向かうように誘導した。
• システムダイナミクスの事前知識がなくても、システム状態からの高次元特徴を抽出できるようにした。
• 長期的報酬最適化を目的として、シミュレーテッド環境でDRLエージェントを訓練し、所望の電圧レベルへの収束を保証した。
• DQNフレームワークにおける学習安定化とサンプル効率の向上を図るため、経験リプレイとターゲットネットワークを用いた。

実験結果

リサーチクエスチョン

• RQ1 変動する負荷および発電条件下でも、DRLベースのコントローラーはCPLsを有する直流マイクログリッドのバス電圧を安定化できるか？
• RQ2 動的応答性とロバスト性の観点から、提案されたDRLコントローラーは従来の制御手法と比較してどの程度優れているか？
• RQ3 システムモデルの事前知識がなくても、DRLエージェントは最適な制御方策をどの程度学習できるか？
• RQ4 再生可能エネルギー統合型マイクログリッドに内在する不確実性および外部乱れに対し、DRLコントローラーはどの程度効果的に対処できるか？

主な発見

• 負荷変動下において、従来のPI制御と比較して、提案されたDRLコントローラーはより速い電圧回復と低いオーバーシュートを達成した。
• 再トレーニングなしに、複数の運転シナリオにわたって優れた一般化能力を示した。
• 入力電圧および負荷電流の急激な変化に対しても、安定した電圧制御を維持した。
• シミュレーション結果から、DRL戦略が自己学習を通じて最適な制御方策に収束し、手動チューニングの必要性を最小限に抑えることができた。
• DQNの活用により、高次元状態空間の効果的処理が可能になり、制御精度とシステムのレジリエンスが向上した。
• 報酬ベースの学習メカニズムにより、エージェントが安定運用に向かうように効果的に誘導され、主要なテストケースで電圧偏差が40％以上削減された。