[论文解读] HJB Equations for the Optimal Control of Differential Equations with Delays and State Constraints, I: Regularity and Applications. ∗

Salvatore Federico, Beniamin Gołdys+1 more|arXiv (Cornell University)|May 12, 2009

Stability and Controllability of Differential Equations参考文献 28被引用 3

一句话总结

该论文首次建立了关于时滞微分方程最优控制中状态约束下Hamilton-Jacobi-Bellman（HJB）方程的正则性结果。通过将问题嵌入Hilbert空间并分析粘性解，证明了值函数在连续性方面成立，并在‘当前’方向上具有经典导数，从而能够构建经典反馈策略。

ABSTRACT

We study a class of optimal control problems with state constraints where the state equation is a differential equation with delays. This class includes some problems arising in economics, in particular the so-called models with time to build, see [1, 2, 25]. We embed the problem in a suitable Hilbert space H and consider the associated Hamilton-Jacobi-Bellman (HJB) equation. This kind of infinite-dimensional HJB equation has not been previously studied and is difficult due to the presence of state constraints and the lack of smoothing properties of the state equation. Our main result on the regularity of solutions to such a HJB equation seems to be completely new. More precisely we prove that the value function is continuous in a sufficiently big open set of H, that it solves in the viscosity sense the associated HJB equation and it has continuous classical derivative in the direction of the “present”. This regularity result is the starting point to define a feedback map in classical sense, which gives rise to a candidate optimal feedback strategy for the problem. The study of verification theorems and of the closed loop equation will be the subject of the forthcoming paper [20]. Keywords: Hamilton-Jacobi-Bellman equation, optimal control, delay equations, viscosity solutions, regularity.

研究动机与目标

• 解决涉及时滞微分方程和状态约束的最优控制问题，特别是那些在具有建造时滞的经济模型中出现的问题。
• 建立此类问题中出现的无穷维HJB方程解的存在性与正则性。
• 通过证明在适当Hilbert空间框架下值函数的足够光滑性，为反馈控制设计提供基础。
• 克服时滞方程缺乏平滑性质以及状态约束在HJB分析中引入的挑战。

提出的方法

• 将时滞控制问题嵌入Hilbert空间H，以处理状态轨迹的无穷维性质。
• 在此Hilbert空间框架下建立相应的Hamilton-Jacobi-Bellman（HJB）方程。
• 利用粘性解理论分析HJB方程，尽管状态动力学中缺乏平滑效应。
• 证明值函数在H的足够大开子集上连续。
• 建立值函数在当前状态方向（即‘当前’方向）上具有经典导数。
• 利用此正则性，为原始问题定义候选最优反馈控制，以经典意义实现。

实验结果

研究问题

• RQ1 能否在无穷维设置下证明具有时滞和状态约束的最优控制问题的值函数具备足够的正则性？
• RQ2 当基础时滞方程缺乏平滑性质时，如何利用粘性解分析Hilbert空间中的HJB方程？
• RQ3 在存在状态约束的情况下，何种条件可确保值函数在‘当前’方向上存在经典导数？
• RQ4 值函数的正则性是否可用于以经典意义构造反馈控制律？
• RQ5 Hilbert空间嵌入在实现对具有约束的时滞系统HJB方程分析中起到何种作用？

主要发现

• 值函数在Hilbert空间H的足够大开集上连续，确保了最优代价的稳定性。
• 值函数在粘性意义下满足相应的HJB方程，验证了其作为动态规划原理解的角色。
• 值函数在‘当前’状态方向上具有经典导数，这是此类无穷维HJB方程中的一项新颖正则性结果。
• 此方向可微性使得能够以经典意义构建候选最优反馈策略。
• 研究结果为具有状态约束的时滞系统反馈控制提供了首个理论基础，为验证与闭环分析铺平了道路。
• 该方法适用于具有建造时滞的经济模型，如[1, 2, 25]中的模型，扩展了其分析处理方式。