[论文解读] Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids
本文提出一种深度强化学习（DRL）智能体，可自主管理住宅储能系统，在动态电价下实现电费最小化。该智能体通过在模拟的智能电网环境中进行试错学习，掌握最优的充放电策略，实现最高达14%的电费节省——尤其在结合需量响应计划时效果更显著，同时基于电池容量和电价结构，提供其决策过程的可解释性洞察。
Motivated by recent advancements in Deep Reinforcement Learning (RL), we have developed an RL agent to manage the operation of storage devices in a household and is designed to maximize demand-side cost savings. The proposed technique is data-driven, and the RL agent learns from scratch how to efficiently use the energy storage device given variable tariff structures. In most of the studies, the RL agent is considered as a black box, and how the agent has learned is often ignored. We explain the learning progression of the RL agent, and the strategies it follows based on the capacity of the storage device.
研究动机与目标
- 开发一种数据驱动、可解释的强化学习智能体，以优化可变电价下的住宅储能运行。
- 通过分析和解释其学习过程与决策策略，解决强化学习智能体的黑箱问题。
- 评估电池容量对分时电价（ToD）和需量响应（DR）电价下电费节省与最优运行策略的影响。
- 展示强化学习智能体在不同储能容量和电价制度下的可扩展性与适应性。
- 为住宅能源系统中电池最优尺寸选择与投资回报分析提供基础。
提出的方法
- 使用自定义环境训练深度Q网络（DQN）智能体，以模拟住宅电力消耗与动态电价结构。
- 智能体观测包括时段、电价和电池荷电状态等状态特征，并采取动作实现电池的充电或放电。
- 奖励函数定义为相对于基线的电费节省：$\text{cost}_\text{saving} = \left(1 - \frac{\text{Cost}(\text{RLAgent})}{\text{Cost}(\text{BaseLine})}\right) \times 100$。
- 智能体采用经验回放与目标网络以稳定训练，超参数经调优以平衡探索与收敛性。
- 训练基于一个月的住宅负荷与电价数据进行，测试使用后续一个月的数据，模型在需量响应场景下进行微调。
- 系统引入约束条件，如充电上限为容量的90%、放电上限为容量的10%，以延长电池寿命。
实验结果
研究问题
- RQ1不同电池容量下，DRL智能体在降低住宅电费方面的表现如何变化？
- RQ2基于电池容量与电价结构，RL智能体采用了何种决策策略？
- RQ3纳入需量响应（DR）计划如何影响电费节省与智能体行为？
- RQ4是否能够有意义地解释和可视化RL智能体的学习过程与策略？
- RQ5在分时电价（ToD）与DR电价下，实现最大电费节省的最优电池容量是多少？
主要发现
- 在标准分时电价（ToU）下，RL智能体实现6–8%的电费节省，结合需量响应（DR）计划后提升至12–14%。
- 当电池容量超过15,000Wh后，电费节省趋于平稳，表明大容量系统收益递减。
- 低容量电池（如5kWh）无法泛化至高容量场景，但高容量智能体可成功管理低容量状态。
- 智能体学会在低价时段（22:00–06:00）充电，并在高价时段放电，高容量系统中则发展出满电策略。
- 智能体行为具有可解释性：其始终在电价低时充电、电价高时放电，策略随储能容量增加而扩展。
- 对预训练智能体在DR场景下进行微调，可有效适应新约束，如每日需量限制与惩罚性电价。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。