[论文解读] Multi-Agent Q-Learning for Minimizing Demand-Supply Power Deficit in Microgrids

Raghuram Bharadwaj Diddigi, Sai Koti Reddy Danda+1 more|arXiv (Cornell University)|Aug 25, 2017

Smart Grid Energy Management参考文献 11被引用 5

一句话总结

本文提出一种多智能体Q-learning方法，以最小化为未通电村庄供电的微电网中的供需功率缺口，利用可再生能源储能和主电网连接。通过将问题建模为马尔可夫决策过程并应用合作式Q-learning，该方法优化了太阳能、风能和电网电源之间的功率分配，表明当主电网容量适中时，电池储能能显著减少缺口。

ABSTRACT

We consider the problem of minimizing the difference in the demand and the supply of power using microgrids. We setup multiple microgrids, that provide electricity to a village. They have access to the batteries that can store renewable power and also the electrical lines from the main grid. During each time period, these microgrids need to take decision on the amount of renewable power to be used from the batteries as well as the amount of power needed from the main grid. We formulate this problem in the framework of Markov Decision Process (MDP), similar to the one discussed in [1]. The power allotment to the village from the main grid is fixed and bounded, whereas the renewable energy generation is uncertain in nature. Therefore we adapt a distributed version of the popular Reinforcement learning technique, Multi-Agent Q-Learning to the problem. Finally, we also consider a variant of this problem where the cost of power production at the main site is taken into consideration. In this scenario the microgrids need to minimize the demand-supply deficit, while maintaining the desired average cost of the power production.

研究动机与目标

• 解决印度偏远村庄因电网不可靠或无电网接入而面临的供电挑战。
• 通过可再生能源和电池储能，最小化微电网的长期供需电力缺口。
• 在优化过程中纳入主电网电力成本，以平衡电力缺口与发电成本。
• 开发一种分布式、基于学习的控制策略，用于在不确定性条件下进行微电网功率分配。
• 评估在不同电网容量约束下，电池储能对减少电力缺口的有效性。

提出的方法

• 将微电网功率分配问题建模为马尔可夫决策过程（MDP），其中状态表示需求、电池电量和电力可用性。
• 应用合作式多智能体Q-learning，学习在时间片内对太阳能、风能和主电网电力使用的最优策略。
• 使用单阶段奖励函数，对供需缺口和主电网电力使用进行惩罚，并引入可调成本参数c。
• 采用ε-greedy探索策略，ε = 0.85，经过10^8次迭代学习最优Q值。
• 模拟中，可再生能源发电量服从泊松分布（均值 = 2），需求遵循具有转移矩阵P的马尔可夫链。
• 在训练后，通过10^4次迭代的平均缺口比较性能，评估有无电池储能的情况。

实验结果

研究问题

• RQ1 当主电网接入有限时，电池储能对最小化微电网供需电力缺口有何影响？
• RQ2 在最小化电力缺口与控制从主电网获取电力的成本之间存在何种权衡？
• RQ3 在何种条件下，使用储存的可再生能源电力优于直接使用实时发电和电网电力？
• RQ4 在主电网容量变化时，多智能体Q-learning的性能与无储能策略相比如何？
• RQ5 成本加权奖励函数是否能有效平衡电力缺口与主电网电力生产成本？

主要发现

• 当主电网最大功率分配（MPA）小于3时，电池储能无优势，且算法1（无成本加权）表现更优。
• 当MPA与最小需求相当（例如5–8）时，算法2（带成本加权奖励）通过利用电池储能减少缺口，表现优于算法1。
• 随着成本参数c从0增至1，平均供需缺口减少，而平均主电网电力使用量增加，表明实现了有效的权衡控制。
• 多智能体Q-learning算法在10^8次迭代后收敛至稳定策略，在10^4次测试迭代中实现了平均缺口的显著降低。
• 仿真结果证实，当主电网容量适中时，智能储能与可再生能源的分配可显著减少电力缺口。
• 结果表明，当主电网供应受限但非可有可无时，电池储能最具优势，验证了自适应能源管理的必要性。