[论文解读] Backward Approximate Dynamic Programming with Hidden Semi-Markov Stochastic Models in Energy Storage Optimization

Joseph L. Durante, Juliana Nascimento+1 more|arXiv (Cornell University)|Oct 11, 2017

Smart Grid Energy Management参考文献 33被引用 11

一句话总结

本文提出了一种基于新型隐马尔可夫半马尔可夫模型（HSMM）的后向近似动态规划（ADP）框架，用于优化含风电系统的储能控制，能够同时捕捉预测误差分布与穿越时间——这对设计稳健的控制策略至关重要。HSMM模型在频繁出现电价飙升的极端气温条件下，相较于标准马尔可夫模型与均值回归模型表现更优，生成了更具鲁棒性与盈利能力的控制策略。

ABSTRACT

We consider an energy storage problem involving a wind farm with a forecasted power output, a stochastic load, an energy storage device, and a connection to the larger power grid with stochastic prices. Electricity prices and wind power forecast errors are modeled using a novel hidden semi-Markov model that accurately replicates not just the distribution of the errors, but also crossing times, capturing the amount of time each process stays above or below some benchmark such as the forecast. This is an important property of stochastic processes involved in storage problems. We show that we achieve more robust solutions using this model than when more common stochastic models are considered. The new model introduces some additional complexity to the problem as its information states are partially hidden, forming a partially observable Markov decision process. We derive a near-optimal time-dependent policy using backward approximate dynamic programming, which overcomes the computational hurdles of classical (exact) backward dynamic programming, with higher quality solutions than the more familiar forward approximate dynamic programming methods.

研究动机与目标

• 在电力价格与风电预测误差高度不确定的条件下，为含风电系统开发更具鲁棒性的储能控制策略。
• 解决标准时间序列模型（如AR模型）在捕捉风电输出持续高于或低于预测值的时间段（即穿越时间）方面的局限性，这对长期储能规划至关重要。
• 将HSMM框架扩展至建模随机电力价格，通过引入气温预测作为解释变量，提升价格尖峰频率与幅度建模的真实性。
• 评估在不同气温与风电条件下，基于不同随机价格模型训练的ADP策略性能，重点关注最坏情况下的鲁棒性。
• 证明HSMM建模方法相较于传统模型，可在极端天气条件下实现更高盈利性与更强韧性。

提出的方法

• 本文采用一元穿越状态隐半马尔可夫模型（HSMM）对风电功率预测误差进行建模，联合捕捉误差分布与过程持续高于或低于预测值的时间长度。
• 电力价格通过基于气温预测的HSMM进行建模，使用离散气温区间作为解释变量，以影响价格尖峰行为。
• 定义紧凑的信息状态表示为 $\tilde{I}_t^P = (C_t^P, D_t^P, \hat{P}_t^b)$，其中 $C_t^P$ 与 $D_t^P$ 分别表示当前穿越状态与持续时间，$\hat{P}_t^b$ 为基线价格偏差。
• 采用后向近似动态规划（ADP）计算近似最优的时变策略，克服精确后向DP的计算不可行性，同时获得优于前向ADP的解质量。
• 通过在后决策状态上使用查表法近似值函数，离散化处理确保不同价格模型下状态空间大小一致，实现公平比较。
• 策略通过典型与最坏情况下的风电与电价样本路径联合训练，性能在三种气温条件下进行评估：凉爽、平均与炎热。

实验结果

研究问题

• RQ1 与标准AR模型相比，采用穿越状态HSMM建模风电预测误差在多大程度上提升了储能控制策略的鲁棒性？
• RQ2 将电力价格模型基于气温预测进行条件化，能在多大程度上提升储能应用中价格尖峰行为的现实性与预测准确性？
• RQ3 在极端天气条件下，使用基于HSMM的后向ADP方法是否能产生比前向ADP或标准随机模型更具盈利性与韧性的策略？
• RQ4 在不同气温与风电条件下，不同随机价格模型（马尔可夫链、均值回归跳跃扩散模型、HSMM）在策略性能方面如何比较？
• RQ5 HSMM框架能否准确再现实时电力市场中价格误差、穿越时间与曲线下方面积（盈余/赤字）的联合分布？

主要发现

• HSMM策略在所有测试案例中实现了最高平均利润，在平均气温条件下中位利润为-757美元，与马尔可夫模型性能相当。
• 在炎热气温下的最坏情景中，HSMM策略优于马尔可夫模型与均值回归跳跃扩散（MRJD）模型，利润分别为-2,687美元，而后者分别为-2,772美元与-3,332美元。
• 在气温炎热、价格尖峰频繁且剧烈的条件下，HSMM模型表现出更优的鲁棒性，相较MRJD模型减少亏损逾600美元。
• 将气温预测作为解释变量显著提升了模型对价格尖峰发生时间、频率与幅度的预测能力，尤其在极端高温条件下效果显著。
• 基于HSMM的后向ADP框架生成了更高质量的解，且在信息状态部分可观测的条件下仍能实现高效计算。
• 紧凑的信息状态表示 $\tilde{I}_t^P = (C_t^P, D_t^P, \hat{P}_t^b)$ 实现了有效值函数近似，同时保持了可管理的状态空间规模，支持可扩展的策略学习。