[论文解读] Data-driven battery operation for energy arbitrage using rainbow deep reinforcement learning

Daniel J. B. Harrold, Jun Cao+1 more|arXiv (Cornell University)|Jun 10, 2021

Smart Grid Energy Management参考文献 34被引用 4

一句话总结

本文提出使用Rainbow深度Q网络（DQN）强化学习算法，通过动态电价和基于天气的预测，优化微电网中的电池运行以实现能量套利。Rainbow在性能上优于标准DQN、DDPG和线性规划方法，其分布式方法使学习效果更优，且能更好地解释智能体行为。

ABSTRACT

As the world seeks to become more sustainable, intelligent solutions are needed to increase the penetration of renewable energy. In this paper, the model-free deep reinforcement learning algorithm Rainbow Deep Q-Networks is used to control a battery in a small microgrid to perform energy arbitrage and more efficiently utilise solar and wind energy sources. The grid operates with its own demand and renewable generation based on a dataset collected at Keele University, as well as using dynamic energy pricing from a real wholesale energy market. Four scenarios are tested including using demand and price forecasting produced with local weather data. The algorithm and its subcomponents are evaluated against two continuous control benchmarks with Rainbow able to outperform all other method. This research shows the importance of using the distributional approach for reinforcement learning when working with complex environments and reward functions, as well as how it can be used to visualise and contextualise the agent's behaviour for real-world applications.

研究动机与目标

• 开发一种数据驱动的强化学习方法，以实现微电网中电池运行的最优控制，从而最大化能量套利和可再生能源利用率。
• 评估最先进的Rainbow DQN算法在复杂真实能源环境中的性能，与标准DQN和演员-评论家基准方法进行比较。
• 研究分布式强化学习方法（C51）在处理非确定性奖励函数以及提升智能体决策可解释性方面的优势。
• 评估将需求和价格预测整合到强化学习智能体的状态空间中，对控制性能和学习效率的影响。

提出的方法

• 本研究采用Rainbow DQN算法，这是一种无需模型的深度强化学习方法，结合了多种DQN改进技术，包括双-stream网络、优先经验回放和分布式Q学习（C51）。
• 环境模拟了基尔大学的真实微电网，整合了实际的负荷和可再生能源（太阳能和风能）数据，以及动态的批发电价。
• 智能体观察的状态空间包括电池荷电状态、实时电价，以及基于本地气象数据生成的负荷和价格预测。
• 动作是离散的充放电控制指令，对超出容量限制的行为施加惩罚，以确保满足物理约束。
• 通过在训练过程中可视化价值分布，分析智能体如何在不同环境条件下学习并为不同动作分配价值，以解释其学习过程。
• 测试了四种复杂度逐步提升的场景——状态空间和动作空间大小逐步增加——以评估算法的可扩展性及预测集成的效果。

实验结果

研究问题

• RQ1 Rainbow DQN算法是否能在具有动态电价和可再生能源间歇性的现实微电网环境中，有效学习到最优的电池控制策略以实现能量套利？
• RQ2 与标准DQN相比，Rainbow DQN中的分布式方法（C51）在复杂能源环境中如何提升学习稳定性和性能？
• RQ3 需求和价格预测在多大程度上提升了强化学习智能体在能量套利任务中的表现？
• RQ4 将预测数据集成到智能体中，如何影响其预测电价高峰的能力，并优化电池的调度决策？

主要发现

• 在所有四个测试场景中，Rainbow DQN显著优于标准DQN、DDPG和线性规划基线方法，尤其在复杂、高分辨率的状态和动作空间中表现更优。
• 分布式方法（C51）使智能体能够更好地建模非确定性奖励函数，例如对过充或过放超出电池容量限制的惩罚。
• 价值分布可视化显示，智能体学会了将高回报与特定动作关联，如在电价高峰前放电，表明其具备有效的时序规划能力。
• 集成预测的需求和价格数据带来了最显著的性能提升，尤其对Rainbow智能体而言，其能有效利用这些信息实现更优的决策。
• Rainbow的子组件（如优先经验回放、双-stream网络）协同作用，显著提升了在各种场景下的学习效率和鲁棒性。
• 尽管DDPG具有连续动作空间，但其性能仍逊于Rainbow DQN，表明Rainbow所采用的分布式和基于价值的方法在学习稳定性和性能方面更具优势。