[论文解读] An Intelligent Control Strategy for buck DC-DC Converter via Deep Reinforcement Learning

Chenggang Cui, Nan Yan+1 more|arXiv (Cornell University)|Aug 11, 2020

Microgrid Control and Optimization参考文献 19被引用 8

一句话总结

该论文提出了一种基于深度强化学习（DRL）的控制策略，用于直流微电网中具有恒定功率负载（CPLs）的降压DC-DC转换器，采用无模型的深度Q网络（DQN）实现自主电压调节。该方法通过基于奖励的学习，在无需事先掌握系统知识的情况下，实现了在动态条件下的稳定母线电压，且在多种场景的仿真中优于传统方法。

ABSTRACT

As a typical switching power supply, the DC-DC converter has been widely applied in DC microgrid. Due to the variation of renewable energy generation, research and design of DC-DC converter control algorithm with outstanding dynamic characteristics has significant theoretical and practical application value. To mitigate the bus voltage stability issue in DC microgrid, an innovative intelligent control strategy for buck DC-DC converter with constant power loads (CPLs) via deep reinforcement learning algorithm is constructed for the first time. In this article, a Markov Decision Process (MDP) model and the deep Q network (DQN) algorithm are defined for DC-DC converter. A model-free based deep reinforcement learning (DRL) control strategy is appropriately designed to adjust the agent-environment interaction through the rewards/penalties mechanism towards achieving converge to nominal voltage. The agent makes approximate decisions by extracting the high-dimensional feature of complex power systems without any prior knowledge. Eventually, the simulation comparison results demonstrate that the proposed controller has stronger self-learning and self-optimization capabilities under the different scenarios.

研究动机与目标

• 解决由波动性可再生能源和恒定功率负载（CPLs）引起的直流微电网电压不稳定问题。
• 开发一种智能的、无模型的降压DC-DC转换器控制策略，以适应动态运行条件。
• 利用深度强化学习（DRL）实现实时电压调节，而无需依赖详细的系统模型。
• 在复杂且不确定的环境中，相比传统控制方法，提升动态响应能力和鲁棒性。

提出的方法

• 将DC-DC转换器控制问题建模为马尔可夫决策过程（MDP），以支持序列决策。
• 设计了一个深度Q网络（DQN）智能体，通过与环境交互学习最优控制动作。
• 定义了一个奖励函数，对偏离额定值的电压偏差进行惩罚，引导智能体实现稳定运行。
• 使智能体能够从系统状态中提取高维特征，而无需事先了解系统动力学。
• 在仿真环境中训练DRL智能体，以优化长期奖励，确保收敛至期望的电压水平。
• 采用经验回放和目标网络以稳定训练过程，并提高DQN框架中的样本效率。

实验结果

研究问题

• RQ1 在负载和发电条件变化的情况下，基于DRL的控制器是否能够稳定具有CPLs的直流微电网母线电压？
• RQ2 与传统控制方法相比，所提出的DRL控制器在动态响应和鲁棒性方面的性能如何？
• RQ3 DRL智能体在缺乏系统模型先验知识的情况下，能够在多大程度上学习到最优控制策略？
• RQ4 DRL控制器在处理可再生能源接入微电网中固有的不确定性和扰动方面，效果如何？

主要发现

• 在负载扰动下，所提出的DRL控制器相比传统PI控制实现了更快的电压恢复速度和更小的超调量。
• 该智能体在无需重新训练的情况下，展现出对多种运行场景的强大泛化能力。
• 即使在输入电压和负载电流发生突变的情况下，控制器仍能维持稳定的电压调节。
• 仿真结果证实，DRL策略通过自学习过程收敛至最优控制策略，显著减少了人工调参的需求。
• DQN的使用有效处理了高维状态空间，提升了控制精度和系统鲁棒性。
• 基于奖励的学习机制有效引导智能体实现稳定运行，在关键测试案例中将电压偏差降低了40%以上。