[论文解读] Computing an Optimal Control Policy for an Energy Storage

Pierre Haessig, Thibaut Kovaltchouk+3 more|arXiv (Cornell University)|Apr 25, 2014

Smart Grid Energy Management参考文献 2被引用 13

一句话总结

该论文提出StoDynProg，一个基于Python的库，实现随机动态规划（SDP）以计算能量存储系统的最优控制策略，应用于海洋波浪能转换器（SEAREV）的功率输出平滑。与线性启发式策略相比，该方法平均将电网功率波动降低了20%，采用马氏状态空间模型和策略迭代方法，但在高非线性波浪条件下性能因模型局限性而下降。

ABSTRACT

We introduce StoDynProg, a small library created to solve Optimal Control problems arising in the management of Renewable Power Sources, in particular when coupled with an Energy Storage System. The library implements generic Stochastic Dynamic Programming (SDP) numerical methods which can solve a large class of Dynamic Optimization problems. We demonstrate the library capabilities with a prototype problem: smoothing the power of an Ocean Wave Energy Converter. First we use time series analysis to derive a stochastic Markovian model of this system since it is required by Dynamic Programming. Then, we briefly describe the "policy iteration" algorithm we have implemented and the numerical tools being used. We show how the API design of the library is generic enough to address Dynamic Optimization problems outside the field of Energy Management. Finally, we solve the power smoothing problem and compare the optimal control with a simpler heuristic control.

研究动机与目标

• 开发一个通用的开源库，用于使用随机动态规划求解能源系统中的最优控制问题。
• 解决利用储能系统平滑海洋波浪能转换器（如SEAREV）产生的高度波动功率输出的挑战。
• 将通过SDP推导出的最优控制策略与简单的线性反馈控制律的性能进行比较。
• 评估模型保真度对控制性能的影响，特别是在非线性波浪动力学条件下的表现。

提出的方法

• 系统建模为离散时间马氏过程，使用自回归模型拟合模拟的SEAREV功率数据。
• 通过策略迭代算法计算最优控制策略，这是随机动态规划中的标准方法。
• 成本函数定义为注入电网功率的平方的长期期望平均值，以惩罚波动性。
• 状态变量为储能系统中储存的能量，其范围在0至额定容量（10 MJ）之间。
• 控制策略作为状态反馈函数推导得出，将当前储存能量映射到最优电网注入功率。
• 实现使用标准科学计算Python库（NumPy、SciPy），以确保在工程领域中的可移植性和可重用性。

实验结果

研究问题

• RQ1 基于SDP的通用库能否有效计算管理可变可再生能源发电的能量存储系统的最优控制策略？
• RQ2 通过随机动态规划推导出的最优策略在平滑波浪能输出方面，与简单线性启发式策略相比表现如何？
• RQ3 模型精度——特别是线性假设——在高振幅波浪条件下在多大程度上影响最优控制策略的鲁棒性？
• RQ4 通过最优控制与启发式控制相比，可实现的电网功率波动定量降低程度是多少？

主要发现

• 与线性启发式策略相比，最优控制策略在三个独立的1000秒SEAREV发电样本中，平均将注入电网功率的标准差降低了约20%。
• 最优策略更好地利用了储能容量的全部范围，尤其避免了线性策略中观察到的高能状态下的利用率不足。
• 在高发电阶段（如200–220秒），最优策略表现出尖峰状输出，这是由于与线性模型假设不匹配，表明在高非线性动力学条件下存在局限性。
• 性能下降与线性状态空间模型中的高斯假设有关，该假设无法捕捉超过4个标准差的极端加速度。
• 所提出的库StoDynProg被证明在其他工程和生命科学领域中的最优控制问题中具有通用性和可重用性，前提是状态空间维度较低。
• 本研究强调了需要更精确的非线性模型，才能在实际波浪能应用中充分发挥最优控制的潜力。