[论文解读] Confidence Estimation Transformer for Long-term Renewable Energy Forecasting in Reinforcement Learning-based Power Grid Dispatching

Xinhang Li, Zihao Li+8 more|arXiv (Cornell University)|Apr 10, 2022

Energy Load and Power Forecasting被引用 5

一句话总结

该论文提出了一种名为Conformer-RLpatching的新框架，将置信度估计的增强型Transformer与基于强化学习的电力系统经济调度相结合，用于长期可再生能源预测。通过预测长期输出并进行不确定性估计及调度必要性机制，提升了调度的稳定性和安全性，在相同条件下，其安全得分较第二名算法提高25.8%，并在国家电网组织的竞赛中超越了冠军团队。

ABSTRACT

The expansion of renewable energy could help realizing the goals of peaking carbon dioxide emissions and carbon neutralization. Some existing grid dispatching methods integrating short-term renewable energy prediction and reinforcement learning (RL) have been proved to alleviate the adverse impact of energy fluctuations risk. However, these methods omit the long-term output prediction, which leads to stability and security problems on the optimal power flow. This paper proposes a confidence estimation Transformer for long-term renewable energy forecasting in reinforcement learning-based power grid dispatching (Conformer-RLpatching). Conformer-RLpatching predicts long-term active output of each renewable energy generator with an enhanced Transformer to boost the performance of hybrid energy grid dispatching. Furthermore, a confidence estimation method is proposed to reduce the prediction error of renewable energy. Meanwhile, a dispatching necessity evaluation mechanism is put forward to decide whether the active output of a generator needs to be adjusted. Experiments carried out on the SG-126 power grid simulator show that Conformer-RLpatching achieves great improvement over the second best algorithm DDPG in security score by 25.8% and achieves a better total reward compared with the golden medal team in the power grid dispatching competition sponsored by State Grid Corporation of China under the same simulation environment. Codes are outsourced in https://github.com/buptlxh/Conformer-RLpatching.

研究动机与目标

• 解决现有基于强化学习的电力系统经济调度系统中缺乏长期可再生能源预测的问题。
• 通过将长期预测整合到最优潮流决策中，提升电网稳定性和安全性。
• 通过可再生能源输出的置信度估计机制，提升预测的准确性和可靠性。
• 引入调度必要性评估机制，减少不必要的控制动作，提升效率。
• 在多目标电力系统调度中实现卓越性能，平衡安全性、经济性与可再生能源利用率。

提出的方法

• 采用增强型Transformer架构，建模可再生能源发电数据中的长期时间依赖性。
• 集成置信度估计模块，量化预测不确定性，提升在高波动条件下的鲁棒性。
• 使用基于DDPG的强化学习智能体，基于长期预测优化潮流与调度策略。
• 实施调度必要性评估机制，判断是否需要调整发电机出力。
• 在SG-126电力系统仿真器上端到端训练该系统，以平衡安全性、经济效率与可再生能源利用率。
• 将预测与决策模块整合为统一框架Conformer-RLpatching，实现实时、自适应调度。

实验结果

研究问题

• RQ1 长期可再生能源预测能否提升基于强化学习的电力系统调度的稳定性和安全性？
• RQ2 长期预测中的置信度估计如何影响调度决策的可靠性？
• RQ3 调度必要性评估机制在保持系统性能的前提下，能在多大程度上减少不必要的控制动作？
• RQ4 在真实电网仿真中，Conformer-RLpatching与最先进基线方法相比，在安全得分和总奖励方面表现如何？
• RQ5 将长期预测与深度强化学习相结合，能否在混合能源系统中实现更优的多目标优化？

主要发现

• 在SG-126电力系统仿真器中，Conformer-RLpatching相较于第二名算法DDPG，安全得分提升25.8%。
• 该框架在国家电网公司赞助的电力系统调度竞赛中超越了金牌获奖团队，在相同条件下实现了更高的总奖励。
• 置信度估计模块有效降低了预测误差，提升了在高可再生能源波动条件下的调度决策鲁棒性。
• 调度必要性评估机制显著减少了不必要的控制动作，提升了运行效率。
• 基于增强型Transformer的预测组件在测试环境中相比现有模型展现出更优的长期预测精度。
• 预测与强化学习的端到端集成，实现了安全性、经济性与可再生能源利用率之间的更优权衡。