[论文解读] Adaptive sparse grids for time dependent Hamilton-Jacobi-Bellman equations in stochastic control

Xavier Warin|arXiv (Cornell University)|Aug 19, 2014

Stochastic processes and financial applications参考文献 23被引用 4

一句话总结

本文提出了一种用于求解随机控制中时间依赖的哈密顿-雅可比-贝尔曼（HJB）方程的自适应稀疏网格方法，采用高阶插值的半拉格朗日格式。该方法证明了其收敛至粘性解，并在2至5个维度中展示了高效的计算性能，表明在可控误差和降低计算成本的前提下，确定性方法在中等维度下可优于随机方法。

ABSTRACT

We introduce some sparse grids interpolations used in Semi-Lagrangian schemes for linear and fully non-linear diffusion Hamilton Jacobi Bellman equations arising in stochastic control. We prove that the method introduced converges toward the viscosity solution of the problem and we show that some potentially high order schemes can be efficiently implemented. Numerical test in dimension $2$ to $5$ are achieved and show that deterministic methods can be used efficiently in stochastic control in moderate dimension.

研究动机与目标

• 解决求解随机控制问题中哈密顿-雅可比-贝尔曼（HJB）方程时的维数灾难问题。
• 开发一种确定性数值方法，在高阶插值下仍保持单调性并收敛至粘性解。
• 通过用自适应稀疏网格替代全网格，在中等维度（2–5）中降低计算成本。
• 通过自适应细化控制振荡，同时在稀疏网格上实现高阶精度。
• 展示在通常使用随机方法的问题中，确定性方法在随机控制中的可行性。

提出的方法

• 使用时间离散化和非网格点处的插值，通过半拉格朗日格式求解时间依赖的HJB方程。
• 应用基于层级基函数的稀疏网格插值，将网格点数量从O(N^d)减少至O(N log(N)^{d-1})。
• 基于层级余项的误差估计器实施自适应细化，以在需要的位置集中分辨率。
• 采用外推边界处理方法以应对非光滑或奇异解，特别是在投资组合优化等金融应用中。
• 在稀疏网格上使用线性、二次和三次插值器，以评估收敛性和精度之间的权衡。
• 将自适应细化与在独立稀疏网格上的控制离散化相结合，以优化控制计算。

实验结果

研究问题

• RQ1 自适应稀疏网格能否有效缓解求解随机控制中HJB方程时的维数灾难？
• RQ2 在自适应稀疏网格上使用高阶插值是否能保持单调性并收敛至粘性解？
• RQ3 在2至5个维度中，自适应稀疏网格的计算成本与全网格和随机方法相比如何？
• RQ4 不同插值器（线性、二次、三次）对精度和收敛率有何影响？
• RQ5 在何种情况下，自适应细化相比均匀细化能显著提高解的精度？

主要发现

• 由于时间离散化带来的固有单调性，即使使用高阶插值，该方法仍能收敛至HJB方程的粘性解。
• 在5维情况下，采用三次插值的自适应稀疏网格在6262秒内以384个核心求得精度为1.56e-5的解，结果为-0.3095。
• 对于具有CEV-SV模型的3维问题，自适应细化将误差降低至1.56e-5，使用24个核心耗时4541秒，解为-0.4299。
• 在非光滑问题中，自适应细化显著提升了精度，3维问题中解收敛至-0.4309，精度为1.56e-5。
• 与全网格相比，自适应稀疏网格显著降低了计算成本，即使在高细化水平下也观察到了时间节省。
• 该方法在最多5个维度的投资组合优化问题中实现了稳定且精确的结果，证明了其在中等维度随机控制中的可行性。