[论文解读] Backward Reachability Approach to State-Constrained Stochastic Optimal Control Problems for Jump Diffusion Systems

Jun Moon|arXiv (Cornell University)|Jun 10, 2020

Advanced Mathematical Modeling in Engineering参考文献 40被引用 5

一句话总结

本文提出一种向后可 reachability 方法，用于求解跳跃扩散系统的状态约束随机最优控制问题。通过将原始的不连续值函数重新表述为一个连续辅助值函数的零水平集，建立了二阶非线性积分-偏微分方程（IPDE）的连续粘性解的存在性与唯一性，克服了无界控制和奇异 Lévy 测度带来的挑战。

ABSTRACT

In this paper, we consider the stochastic optimal control problem for jump diffusion systems with state constraints. In general, the value function of such problems is a discontinuous viscosity solution of the Hamilton-Jacobi-Bellman (HJB) equation, since the regularity cannot be guaranteed at the boundary of the state constraint. By adapting approaches of \cite{Bokanowski_SICON_2016} and the stochastic target theory, we obtain an equivalent representation of the original value function as the backward reachable set. We then show that this backward reachable can be characterized by the zero-level set of the auxiliary value function for the unconstrained stochastic control problem, which includes two additional unbounded controls as a consequence of the martingale representation theorem. We prove that the auxiliary value function is a unique continuous viscosity solution of the associated HJB equation, which is the second-order nonlinear integro-partial differential equation (IPDE). Our paper provides an explicit way to characterize the original (possibly discontinuous) value function as a zero-level set of the continuous solution of the auxiliary HJB equation. The proof of the existence and uniqueness requires a new technique due to the unbounded control sets, and the presence of the singularity of the corresponding Lévy measure in the nonlocal operator of the HJB equation.

研究动机与目标

• 为解决跳跃扩散系统在状态约束下的随机最优控制问题中不连续粘性解的挑战。
• 通过向后可 reach 集，开发原始值函数的等价表示形式。
• 通过求解具有无界控制的无约束 HJB 方程的连续辅助值函数，刻画原始问题。
• 在无界控制集和奇异 Lévy 测度存在的情况下，证明辅助 HJB 方程的连续粘性解的存在性与唯一性。
• 提供一种构造性方法，将原始（可能不连续）值函数恢复为连续解的零水平集。

提出的方法

• 将 Bokanowski 等人（2016）提出的随机目标理论与向后可 reachability 框架适配至状态约束的跳跃扩散系统。
• 通过局部鞅表示定理引入两个额外的无界控制变量，将状态约束嵌入动力学方程中。
• 定义一个具有扩展控制空间 $\mathcal{A}_{t,T} \times \mathcal{B}_{t,T}$ 的辅助随机控制问题，将状态约束提升至动力学中。
• 将关联的 Hamilton-Jacobi-Bellman（HJB）方程表述为由于跳跃扩散而具有非局部算子的二阶非线性积分-偏微分方程（IPDE）。
• 建立原始约束问题与辅助值函数 $W(t,a,b)$ 的零水平集之间的等价性。
• 证明在适当的边界条件下，$W$ 是辅助 HJB 方程的唯一连续粘性解。

实验结果

研究问题

• RQ1 如何利用向后可 reach 集等价表示具有跳跃扩散的状态约束随机最优控制问题？
• RQ2 能否从无约束辅助问题的连续解中恢复约束问题的不连续值函数？
• RQ3 当存在无界控制和奇异 Lévy 测度时，控制辅助值函数的 HJB 方程具有何种结构？
• RQ4 在无界控制集和 Lévy 测度奇异性存在的情况下，如何建立粘性解的存在性与唯一性？
• RQ5 局部鞅表示定理在扩展控制空间以实现连续辅助值函数构造中起到何种作用？

主要发现

• 原始值函数 $V(t,a)$ 等价地表示为 $\inf\{b \geq 0 \mid (a,b) \in \mathcal{R}_t^\Gamma\}$，其中 $\mathcal{R}_t^\Gamma$ 是向后可 reach 集。
• 值函数 $V(t,a)$ 被表征为连续辅助值函数 $W(t,a,b)$ 的零水平集，即 $V(t,a) = \inf\{b \geq 0 \mid W(t,a,b) = 0\}$。
• $W$ 是辅助 HJB 方程的唯一连续粘性解，该方程为二阶非线性积分-偏微分方程（IPDE）。
• 证明 $W$ 的存在性与唯一性依赖于一种针对无界控制集和非局部算子中 Lévy 测度奇异性量身定制的新技术。
• 该方法成功地将不连续值函数问题转化为连续粘性解框架，从而实现稳健的数值与解析处理。
• 该方法适用于具有通用状态约束 $\Gamma$ 的跳跃扩散系统，且在系数与 Lévy 测度满足给定假设下，解的结构得以保持。