[论文解读] Dynamic programming principle for one kind of stochastic recursive optimal control problem and Hamilton-Jacobi-Bellman equations

Zhen Wu, Zhiyong Yu|arXiv (Cornell University)|Apr 28, 2007

Stochastic processes and financial applications参考文献 3被引用 6

一句话总结

本文建立了带有障碍约束的随机递归最优控制问题的动态规划原理，其中代价函数由反射倒向随机微分方程（RBSDE）所决定。证明了值函数是带有障碍的哈密顿-雅可比-贝尔曼（HJB）方程的唯一粘性解，将彭的动态规划框架扩展至马氏设定下的受约束递归控制问题。

ABSTRACT

In this paper, we study one kind of stochastic recursive optimal control problem with the obstacle constraints for the cost function where the cost function is described by the solution of one reflected backward stochastic differential equations. We will give the dynamic programming principle for this kind of optimal control problem and show that the value function is the unique viscosity solution of the obstacle problem for the corresponding Hamilton-Jacobi-Bellman equations.

研究动机与目标

• 将动态规划原理推广至具有代价函数障碍约束的递归最优控制问题。
• 研究当代价函数通过反射BSDE受到约束时，动态规划原理是否仍然有效。
• 将值函数表征为带有障碍的哈密顿-雅可比-贝尔曼方程的唯一粘性解。
• 将彭的动态规划框架推广至马氏假设下的反射BSDE情形。

提出的方法

• 构建一个由带有下障碍的反射BSDE定义代价的递归最优控制问题。
• 利用反射BSDE的后向半群性质推导动态规划原理。
• 应用反射BSDE的分析技巧与先验估计，证明在Lipschitz条件下该原理成立。
• 建立值函数与带有障碍的HJB方程的粘性解之间的联系。
• 利用反射BSDE的比较定理与稳定性结果，确保粘性解的唯一性。
• 采用马氏框架，将值函数与带有障碍约束的非线性抛物型PDE联系起来。

实验结果

研究问题

• RQ1 对于具有代价函数障碍约束的递归最优控制问题，动态规划原理是否成立？
• RQ2 此类约束问题的值函数能否表征为带有障碍的哈密顿-雅可比-贝尔曼方程的粘性解？
• RQ3 在给定的马氏与Lipschitz条件下，该粘性解是否唯一？
• RQ4 反射过程的存在如何影响递归控制中动态规划的结构？
• RQ5 在此控制背景下，反射BSDE公式与带有障碍的HJB方程之间存在何种关系？

主要发现

• 带有障碍约束的随机递归最优控制问题的动态规划原理成立。
• 值函数是相应哈密顿-雅可比-贝尔曼方程障碍问题的唯一粘性解。
• 证明依赖于反射BSDE的后向半群性质以及在Lipschitz条件下的稳定性估计。
• 该框架将彭早期关于递归控制的研究结果推广至涉及反射与约束的情形。
• 障碍约束通过最小递增过程建模，确保代价函数始终不低于给定的随机过程。
• 结果将先前关于反射BSDE与混合控制问题的研究推广至更广泛的递归最优控制问题类别。