[论文解读] A Class of Delay Optimal Control Problems and Viscosity Solutions to Associated Hamilton-Jacobi-Bellman Equations

Jianjun Zhou|arXiv (Cornell University)|Jul 15, 2015

Optimization and Variational Analysis参考文献 21被引用 4

一句话总结

本文提出了一种针对由带延迟微分方程的最优控制问题所引出的哈密顿-雅可比-贝尔曼（HJB）方程的新黏性解框架，其中状态动力学包含非光滑延迟项。该文证明了值函数是相关HJB方程的唯一黏性解，克服了由于缺乏光滑性及存在非零延迟系数 $ b(\cdot) $ 所带来的挑战，后者使得既有的基于希尔伯特空间的方法失效。

ABSTRACT

In this article, a class of optimal control problems of differential equations with delays are investigated for which the associated Hamilton-Jacobi-Bellman (HJB) equations are nonlinear partial differential equations with delays. This type of HJB equation has not been previously studied and is difficult to solve because the state equations do not possess smoothing properties. We introduce a slightly different notion of viscosity solutions and identify the value function of the optimal control problems as a unique viscosity solution to the associated HJB equations.

研究动机与目标

• 解决与包含延迟微分方程的最优控制问题相关的HJB方程缺乏黏性解理论的问题。
• 解决由于延迟动力学的非光滑性所带来的困难，特别是当延迟系数 $ b(\cdot) \neq 0 $ 时，这使得现有的基于希尔伯特空间的方法失效。
• 在有界右连续函数空间 $ \mathcal{D} $ 中，建立最优控制问题的值函数为相关HJB方程的唯一黏性解。
• 为HJB方程中的延迟问题开发一种修改后的黏性解概念，使动态规划原理在此类问题中得以应用。

提出的方法

• 提出一种适用于状态方程中含延迟的HJB方程的修改版黏性解定义，特别适用于 $ \mathcal{D} $ 空间中的有界右连续 $ \mathbb{R}^d $-值函数。
• 分析HJB方程的结构：$ \partial_t V + \mathcal{S}(V) + H(t,x,\nabla_x V) = 0 $，其中 $ H $ 涉及控制输入的下确界，并通过 $ (a,X_s)_H $ 包含依赖于延迟的项。
• 应用扰动测试函数方法，使用涉及 $ |\hat{x}(0) - \hat{y}(0)|^2 $、$ |\hat{x} - \hat{y}|_B^2 $ 和时间加权范数的二次惩罚项，以处理延迟和非光滑性。
• 基于最大值原理使用反证法，假设值函数为严格上解，并通过令黏性参数 $ \alpha \to \infty $ 导出矛盾。
• 使用精心构造的测试函数，包含时间加权项 $ \varepsilon \frac{\mu T - t}{\mu T} |\cdot|^2 $，以控制终端时刻附近的行为。
• 在 $ F $、$ q $、$ \phi $、$ a $ 和 $ b $ 的Lipschitz连续性和有界性假设下，通过验证黏性次解和上解条件，证明了黏性解的存在性与唯一性。

实验结果

研究问题

• RQ1 当状态方程缺乏光滑性时，能否为来自延迟动力学最优控制问题的HJB方程建立黏性解理论？
• RQ2 当延迟系数 $ b(\cdot) \neq 0 $ 时，如何将值函数表征为黏性解，这使得标准的基于希尔伯特空间的方法失效？
• RQ3 为处理状态和控制变量中含延迟的HJB方程，对经典黏性解概念需要做出哪些修改？
• RQ4 即使由于记忆效应导致动力学是非马尔可夫的，值函数是否仍是空间 $ \mathcal{D} $ 中HJB方程的唯一黏性解？
• RQ5 能否通过修改后的黏性解框架，在此设定下严格证明动态规划原理的成立？

主要发现

• 尽管状态动力学缺乏光滑性，值函数 $ V(t,x) = \inf_{u \in \mathcal{U}[t,T]} J(t,x,u) $ 被证明是相关HJB方程（1.4）在空间 $ \mathcal{D} $ 中的唯一黏性解。
• 在标准假设下，包括 $ F $、$ q $ 和 $ \phi $ 的Lipschitz连续性，以及 $ a $、$ b $ 和 $ u $ 的有界性，本文建立了黏性解的存在性与唯一性。
• 通过假设值函数为严格上解并引入含参数 $ \varepsilon $ 和 $ \alpha $ 的扰动测试函数，推导出矛盾，得到 $ c \leq c/2 $，这是不可能的。
• 该证明依赖于对哈密顿量 $ H $ 的精细化分析，通过Lipschitz连续性和模连续性 $ \rho $ 限制 $ H $ 在邻近点之间的差异，从而保证稳定性。
• 修改后的黏性解概念成功处理了延迟结构，特别是项 $ b(t)X^{u}(t - \tau) $，该结构破坏了标准的正则性和紧致性论证。
• 该结果将动态规划的应用范围扩展到更广泛的延迟系统类别，包括工程、经济和种群动力学中的非线性和非马尔可夫模型。