[论文解读] A Computationally Efficient Hamilton-Jacobi-based Formula for State-Constrained Optimal Control Problems

Donggun Lee, Claire J. Tomlin|arXiv (Cornell University)|Jun 25, 2021

Advanced Control Systems Optimization被引用 5

一句话总结

本文提出了一种计算高效的基于汉密尔顿-雅可比的公式，称为广义Lax公式，用于求解具有状态约束的非线性系统中的有限时域最优控制问题。通过利用状态变量和控制变量的凸性以及仿射动力学，该方法可通过时间离散化和基于梯度的优化实现高效数值求解，与基于网格的方法相比，显著降低了计算复杂度。

ABSTRACT

This paper investigates a Hamilton-Jacobi (HJ) analysis to solve finite-horizon optimal control problems for high-dimensional systems. Although grid-based methods, such as the level-set method [1], numerically solve a general class of HJ partial differential equations, the computational complexity is exponential in the dimension of the continuous state. To manage this computational complexity, methods based on Lax-Hopf theory have been developed for the state-unconstrained optimal control problem under certain assumptions, such as affine dynamics and state-independent stage cost. Based on the Lax formula [2], this paper proposes an HJ formula for the state-constrained optimal control problem for nonlinear systems. We call this formula \ extit{the generalized Lax formula} for the optimal control problem. The HJ formula provides both the optimal cost and an optimal control signal. We also provide an efficient computational method for a class of problems for which the dynamics is affine in the state, and for which the stage and terminal cost, as well as the state constraints, are convex in the state. This class of problems does not require affine dynamics and convex stage cost in the control. This paper also provides three practical examples.

研究动机与目标

• 解决基于网格的汉密尔顿-雅可比（HJ）方法在高维最优控制问题中指数级增长的计算复杂度问题。
• 将Lax-Hopf理论扩展至具有非线性动力学和一般阶段代价的带状态约束最优控制问题。
• 为具有仿射动力学、凸阶段/终端代价及状态约束的系统开发一种计算高效的求解方法。
• 提供一种公式，通过数值可处理的优化框架同时获得最优代价和控制信号。

提出的方法

• 为汉密尔顿函数在协态变量上凸的带状态约束最优控制问题提出广义Lax公式。
• 对HJ偏微分方程进行时间离散化，将问题转化为有限维优化问题。
• 在离散化问题上应用基于梯度的优化技术，当问题为凸时该方法具有可处理性。
• 将该方法应用于一类具有仿射动力学、凸阶段和终端代价以及凸状态约束的问题，且不要求控制变量为仿射。
• 利用动力学、代价函数和终端函数的利普希茨连续性推导误差界，以确保近似轨迹的收敛性。
• 通过三个实际示例验证该方法，展示其计算效率和准确性。

实验结果

研究问题

• RQ1 能否将基于Lax的公式推广以处理具有非线性动力学和一般阶段代价的带状态约束最优控制问题？
• RQ2 在保持最优性的同时，如何降低高维HJ偏微分方程的计算复杂度？
• RQ3 对动力学和代价函数的何种条件可使基于梯度的优化实现高效数值求解？
• RQ4 所提出的方法在近似解中在多大程度上保持了精度和收敛性？

主要发现

• 广义Lax公式为具有非线性动力学的带状态约束最优控制问题提供了最优代价和控制信号。
• 对于具有仿射动力学、凸阶段/终端代价和约束的系统，该方法通过在时间离散化问题上进行基于梯度的优化，实现了高效计算。
• 随着时间离散化粒度的细化，近似状态和控制轨迹收敛至真实解，误差界与离散化步长和近似容差成正比。
• 理论分析表明，代价泛函和状态轨迹的误差随着时间离散化更精细以及近似误差减小而减小。
• 与基于网格的方法相比，该方法显著降低了计算复杂度，使得此前难以处理的更高维状态空间问题变得可行。