[论文解读] Local Solutions of the Dynamic Programming Equations and the Hamilton Jacobi Bellman PDE

Carmeliza Navasca|ArXiv.org|Aug 30, 2002

Optimization and Variational Analysis参考文献 26被引用 13

一句话总结

本文提出了一种幂级数方法，用于在无限时域最优控制问题中局部逼近动态规划方程（DPE）和汉密尔顿-雅可比-贝尔曼（HJB）偏微分方程（PDE）。通过扩展Al'brecht的方法，该方法分别计算最优控制和代价函数的正式泰勒展开至 $ r-1 $ 阶和 $ r $ 阶，并利用局部稳定流形定理与辛几何工具，证明了存在与这些展开一致的光滑局部解。

ABSTRACT

We present methods for locally solving the Dynamic Programming Equations (DPE) and the Hamilton Jacobi Bellman (HJB) PDE that arise in the infinite horizon optimal control problem. The method for solving the DPE is the discrete time version of Al'brecht's procedure for locally approximating the solution of the HJB. We also prove the existence of the smooth solutions to the DPE that has the same Taylor series expansions as the formal solutions. Our procedure for solving the HJB PDE numerically begins with Al'brecht's local solution as the initial approximation and uses some Lyapunov criteria to piece together polynomial estimates. The polynomials are generated using the method in the Cauchy-Kovalevskaya Theorem.

研究动机与目标

• 开发一种系统化方法，用于计算无限时域最优控制问题中最优控制与代价函数的局部幂级数近似。
• 证明存在光滑局部解满足逐项导出的正式幂级数展开的动态规划方程（DPE）。
• 将Al'brecht针对HJB PDE的方法扩展至离散时间动态系统与具有 $ \mathcal{C}^r $ 光滑性的非线性系统。
• 建立庞特里亚金最大值原理、哈密顿动力学与非线性系统局部稳定流形构造之间的联系。
• 提出一种数值算法，通过李雅普诺夫准则与水平集截断，将局部多项式近似在区间上拼接。

提出的方法

• 通过递归求解最优控制与代价函数系数的方程组，推导DPE的正式幂级数解，分别至 $ r-1 $ 阶和 $ r $ 阶。
• 应用Al'brecht的方法，计算最优控制 $ \pi(x) $ 与协态梯度 $ \kappa(x) $ 在原点附近的初始局部多项式近似。
• 利用庞特里亚金最大值原理推导前向哈密顿动力学，并分析哈密顿矩阵的特征结构。
• 应用局部稳定流形定理，构造一个光滑不变流形，其对应于最优代价函数，从而保证解的存在性。
• 利用辛结构与斯托克斯定理，在近似过程中保持哈密顿系统的几何性质。
• 开发一种数值拼接算法，通过李雅普诺夫准则在水平集处截断局部近似，并在相邻区间上粘贴新的多项式展开。

实验结果

研究问题

• RQ1 能否为具有 $ \mathcal{C}^r $ 动态与代价的非线性最优控制问题，系统地构造HJB PDE的正式幂级数解？
• RQ2 在何种条件下，存在一个光滑局部解满足给定的正式幂级数展开？
• RQ3 如何利用哈密顿系统的局部稳定流形来表征最优代价函数？
• RQ4 哈密顿矩阵的特征结构与辛形式在保证局部解的存在性与唯一性中起什么作用？
• RQ5 如何通过基于李雅普诺夫的截断与拼接策略，有效将局部多项式近似扩展至整个状态空间？

主要发现

• 本文通过DPE导出的递归系数方程，分别构造了最优控制与代价函数至 $ r-1 $ 阶和 $ r $ 阶的正式幂级数解。
• 利用局部稳定流形定理，证明了存在一个光滑局部解，其与正式幂级数展开一致。
• 最优代价函数被证明是哈密顿动力学稳定流形所构造的拉格朗日子流形的梯度图。
• 该方法在Prager例子中成功逼近了真实的最优控制与代价，数值结果表明 $ \pi_{\text{new}}(x) $ 与 $ \kappa_{\text{new}}(x) $ 收敛于真实解 $ \pi_* $ 与 $ \kappa_* $，如图5.2所示。
• 该算法通过在水平集处截断并重新展开，迭代改进近似，观察到在 $[0,4]$ 上收敛至 $ l=4 $，在 $(-1,0]$ 上收敛至 $ l=3 $。
• 当哈密顿矩阵的0为特征值时，只要其对应于模小于1的稳定闭环特征值，该方法依然有效。