[论文解读] A fully backward representation of semilinear PDEs applied to the control of thermostatic loads in power systems

Lucas Izydorczyk, Nadia Oudjane+1 more|arXiv (Cornell University)|Apr 28, 2021

Stochastic processes and financial applications参考文献 38被引用 4

一句话总结

本文提出了一种用于求解随机控制问题中出现的半线性偏微分方程（PDE）的全后向概率方法，特别适用于电力系统中恒温负载的管理。通过使用时间反转扩散过程将回归网格反向时间模拟，该方法自适应地将计算资源集中于相关状态空间区域，避免了存储整个网格的需求，显著提升了内存效率和计算性能，相较于传统的前向-后向蒙特卡洛方法具有明显优势。

ABSTRACT

We propose a fully backward representation of semilinear PDEs with application to stochastic control. Based on this, we develop a fully backward Monte-Carlo scheme allowing to generate the regression grid, backwardly in time, as the value function is computed. This offers two key advantages in terms of computational efficiency and memory. First, the grid is generated adaptively in the areas of interest and second, there is no need to store the entire grid. The performances of this technique are compared in simulations to the traditional Monte-Carlo forward-backward approach on a control problem of thermostatic loads.

研究动机与目标

• 解决随机控制问题中半线性PDE数值解的高维状态空间与内存限制问题。
• 克服传统前向-后向蒙特卡洛方法效率低下的问题，后者需要存储完整网格并在整个状态空间中均匀采样。
• 开发一种概率数值方法，仅在需要时自适应地生成回归网格，提升计算效率。
• 将该方法应用于电力系统需求侧管理，特别利用汉密尔顿-雅可比-贝尔曼（HJB）框架控制恒温负载。
• 证明通过时间反转扩散实现的后向网格生成可减少内存使用并提升实际仿真中的性能。

提出的方法

• 该方法采用时间反转扩散过程作为前向过程，对半线性PDE进行全后向概率表示。
• 回归点从终端时间开始反向时间模拟，利用具有精心选择终端分布的扩散过程的时间反转。
• 通过条件期望反向计算值函数，仅在需要回归时生成网格点，避免存储完整网格。
• 该方案利用后向随机微分方程（BSDE）对HJB方程的概率表示，前向过程由类似Ornstein-Uhlenbeck的动力学控制。
• 时间反转技术确保模拟路径集中在感兴趣区域，提升采样效率。
• 通过反向时间的回归网格生成，避免嵌套条件期望，降低计算开销。

实验结果

研究问题

• RQ1 能否为半线性PDE构建一种全后向蒙特卡洛方案，避免存储整个回归网格？
• RQ2 通过时间反转扩散实现的后向网格生成在高维随机控制问题中如何提升计算效率与内存使用？
• RQ3 该方法在不预先知晓值函数的情况下，能在多大程度上自适应地将采样集中在感兴趣区域？
• RQ4 在恒温负载控制问题中，全后向方案与经典前向-后向蒙特卡洛方法在精度与运行时间上的表现如何比较？
• RQ5 前向扩散过程的选择对后向方案效率有何影响？

主要发现

• 全后向方案无需存储整个回归网格，与经典前向-后向蒙特卡洛方法相比，显著降低了内存使用。
• 该方法仅在与解相关区域生成网格点，提升了采样效率与计算聚焦能力。
• 在恒温负载控制问题上的仿真结果表明，后向方案在计算效率与可扩展性方面优于经典方法。
• 扩散过程的时间反转确保生成路径集中在值函数最敏感的区域，提升了回归精度。
• 在标准假设下，包括系数的多项式增长与局部利普希茨条件，该方案保持稳定与收敛。
• 该方法可推广至广泛类别的半线性PDE与随机控制问题，尤其适用于高维状态空间问题。