[论文解读] Autonomous Charging of Electric Vehicle Fleets to Enhance Renewable Generation Dispatchability

Reza Bayani, Saeed D. Manshadi+3 more|arXiv (Cornell University)|Dec 22, 2020

Electric Vehicles and Infrastructure参考文献 34被引用 4

一句话总结

本文提出了一种基于拟合Q-迭代强化学习的电动汽车（EV）车队自主充电框架，通过协调随机太阳能发电与EV充电，以减少可再生能源弃用。该方法使EV能够学习最优充电计划，以匹配电网需求、减轻爬坡压力并最大化光伏（PV）利用率——在60天训练后，仿真中实现了90.1%的PV利用率，且性能接近最优。

ABSTRACT

A total 19% of generation capacity in California is offered by PV units and over some months, more than 10% of this energy is curtailed. In this research, a novel approach to reduce renewable generation curtailments and increasing system flexibility by means of electric vehicles' charging coordination is represented. The presented problem is a sequential decision making process, and is solved by fitted Q-iteration algorithm which unlike other reinforcement learning methods, needs fewer episodes of learning. Three case studies are presented to validate the effectiveness of the proposed approach. These cases include aggregator load following, ramp service and utilization of non-deterministic PV generation. The results suggest that through this framework, EVs successfully learn how to adjust their charging schedule in stochastic scenarios where their trip times, as well as solar power generation are unknown beforehand.

研究动机与目标

• 为应对可再生能源占比高的电网中日益严重的太阳能发电弃用问题，特别是在加州，高达18%的光伏发电被弃用。
• 通过利用EV车队作为响应式储能资源，实现智能充电协调，提升电网灵活性与可调度性。
• 开发一种可扩展的自主充电策略，适用于EV出行时间不确定和太阳能发电波动的情境。
• 评估强化学习在EV调度中相对于传统优化方法和深度强化学习方法的性能表现。
• 证明EV能够无需预先掌握未来条件信息，自主学习延迟充电并匹配可再生能源发电峰值。

提出的方法

• 将问题建模为一个序列决策过程，EV在每个时间步选择充电动作以最大化长期奖励。
• 采用以决策树为函数逼近器的拟合Q-迭代算法，学习最优Q函数，从而在每一步无需求解优化问题即可实现高效动作选择。
• 奖励函数设计为惩罚电网购电行为，奖励本地光伏电力的使用，以鼓励减少弃用。
• 在三个案例研究中测试该框架：聚合商负荷跟踪、爬坡服务提供，以及未知发电量和出行时间的随机光伏集成。
• 基于线性规划的“全知”基准优化器提供全局最优解，用于性能对比。
• 与深度Q网络（DRL）方法对比，评估样本效率和学习速度。

实验结果

研究问题

• RQ1 在太阳能发电和EV到达/离开时间不确定的条件下，EV车队能否自主学习协调充电以减少可再生能源弃用？
• RQ2 在EV调度背景下，与深度强化学习相比，拟合Q-迭代在学习最优充电策略方面的有效性如何？
• RQ3 EV在缺乏对未来条件先验知识的情况下，能在多大程度上学习跟随参考功率轨迹或提供爬坡服务？
• RQ4 自主EV充电系统的性能与最优离线解相比如何？
• RQ5 训练时长对强化学习策略收敛性和性能的影响如何？

主要发现

• 经过60天训练，EV车队在随机光伏集成案例中实现了90.1%的光伏（PV）发电利用率，显著减少了弃用。
• 拟合Q-迭代算法在60天后达到接近最优性能（奖励为-350），接近基准优化器在Case 0中的奖励-105。
• DRL方法需要大量数据且收敛更慢，75天后奖励仍远未达到最优（-5732对比拟合Q-迭代的-350）。
• 在爬坡服务案例中，EV车队成功学习在高峰时段减少用电，展示了其提供电网调节服务的能力。
• 系统学会在光伏出力高而电网需求低时延迟充电，有效利用EV作为灵活储能吸收过剩可再生能源。
• 结果证实，即使缺乏对未来条件的完整信息，EV车队也能自主学习提升电网灵活性并减少弃用。