[论文解读] Energy Consumption and Battery Aging Minimization Using a Q-learning Strategy for a Battery/Ultracapacitor Electric Vehicle

Bin Xu, Junzhe Shi+3 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Battery Technologies Research参考文献 27被引用 4

一句话总结

本文提出了一种基于Q-learning的电池/超级电容电动汽车能量管理策略，旨在同时最小化电池退化和能耗。通过结合基于严重性因子的退化模型与强化学习，该方法相比无超级电容的基线系统，使电池老化减少13–20%，并使车辆续航里程提升1.5–2%。

ABSTRACT

Propulsion system electrification revolution has been undergoing in the automotive industry. The electrified propulsion system improves energy efficiency and reduces the dependence on fossil fuel. However, the batteries of electric vehicles experience degradation process during vehicle operation. Research considering both battery degradation and energy consumption in battery/ supercapacitor electric vehicles is still lacking. This study proposes a Q-learning-based strategy to minimize battery degradation and energy consumption. Besides Q-learning, two heuristic energy management methods are also proposed and optimized using Particle Swarm Optimization algorithm. A vehicle propulsion system model is first presented, where the severity factor battery degradation model is considered and experimentally validated with the help of Genetic Algorithm. In the results analysis, Q-learning is first explained with the optimal policy map after learning. Then, the result from a vehicle without ultracapacitor is used as the baseline, which is compared with the results from the vehicle with ultracapacitor using Q-learning, and two heuristic methods as the energy management strategies. At the learning and validation driving cycles, the results indicate that the Q-learning strategy slows down the battery degradation by 13-20% and increases the vehicle range by 1.5-2% compared with the baseline vehicle without ultracapacitor.

研究动机与目标

• 解决电池/超级电容电动汽车中电池退化与能耗整合研究不足的问题。
• 开发一种在车辆运行过程中同时最小化电池老化与能耗的能量管理策略。
• 利用实验数据与遗传算法优化，验证基于严重性因子的电池退化模型。
• 将Q-learning方法与启发式方法及无超级电容的基线系统进行性能对比。
• 证明强化学习在提升车辆效率与电池寿命方面的有效性。

提出的方法

• 构建包含基于严重性因子的电池退化模型的车辆驱动系统模型，并通过实验进行验证。
• 实施Q-learning算法，实现实时学习电池与超级电容之间的最优能量分配。
• 使用粒子群优化（PSO）对两种启发式能量管理策略进行调优与优化，以供对比。
• 根据电池荷电状态、功率需求及驾驶循环工况定义Q-learning的状态空间。
• 利用模拟驾驶循环训练Q-learning智能体，学习最小化能耗与退化综合成本的策略。
• 在标准驾驶循环上验证所学策略，评估其在能效与电池健康方面的表现。

实验结果

研究问题

• RQ1 基于Q-learning的能量管理策略是否能有效降低电池/超级电容电动汽车中的电池退化与能耗？
• RQ2 Q-learning的性能与启发式策略及无超级电容基线系统相比如何？
• RQ3 在Q-learning控制下，引入超级电容在多大程度上提升了车辆续航里程与电池寿命？
• RQ4 严重性因子退化模型在动态驾驶条件下是否能准确反映真实电池老化情况？
• RQ5 在不同控制策略下，能效与电池退化缓解之间的权衡关系如何？

主要发现

• 与无超级电容的基线车辆相比，Q-learning策略使电池退化减少了13–20%。
• 在相同驾驶循环下，基于Q-learning的系统使车辆续航里程提升了1.5–2%，表明能效得到改善。
• 严重性因子退化模型通过实验得到验证，并在Q-learning框架中有效用于反映真实电池老化。
• Q-learning策略图显示出清晰的收敛性，且在多个驾驶循环中表现出稳定且可重复的性能。
• PSO优化的启发式方法表现相当，但在退化减少与续航提升方面均未超越Q-learning。
• 通过Q-learning控制集成超级电容，显著提升了能量效率与电池寿命。