[论文解读] A tree structure algorithm for optimal control problems with state constraints

Alessandro Alla, Maurizio Falcone+1 more|arXiv (Cornell University)|Sep 25, 2020

Advanced Control Systems Optimization参考文献 20被引用 5

一句话总结

本文提出一种树结构算法（TSA），用于带有状态约束的最优控制问题，结合时间离散化与动态规划，并利用基于树的空间结构对违反约束的分支进行剪枝。该方法避免了固定网格，与经典网格方法相比，CPU时间减少高达33%，并通过散列插值实现精确的反馈控制合成，且在无限时域问题中，对凸约束证明了收敛性。

ABSTRACT

We present a tree structure algorithm for optimal control problems with state constraints. We prove a convergence result for a discrete time approximation of the value function based on a novel formulation of the constrained problem. Then the Dynamic Programming approach is developed by a discretization in time leading to a tree structure in space derived by the controlled dynamics, in this construction the state constraints are taken into account to cut several branches of the tree. Moreover, an additional pruning allows for the reduction of the tree complexity as for the case without state constraints. Since the method does not use an a priori space grid, no interpolation is needed for the reconstruction of the value function and the accuracy essentially relies on the time step $h$. These features permit a reduction in CPU time and in memory allocations. The synthesis of optimal feedback controls is based on the values on the tree and an interpolation on the values obtained on the tree will be necessary if a different discretization in the control space is adopted, e.g. to improve the accuracy of the method in the reconstruction of the optimal trajectories. Several examples show how this algorithm can be applied to problems in low dimension and compare it to a classical DP method on a grid.

研究动机与目标

• 开发一种无网格的数值方法，用于带有状态约束的最优控制问题，避免维度灾难。
• 利用多值分析工具，证明在凸状态约束下，离散时间近似值函数的收敛性。
• 将树结构算法（TSA）扩展至带有状态约束的有限时域问题，降低计算复杂度。
• 通过树节点上的散列插值，实现高精度的反馈控制合成，即使控制离散化程度更高。
• 在低维问题中，通过与经典网格化动态规划方法对比，展示该方法在效率和精度上的优势，涵盖凸与非凸约束。

提出的方法

• 该方法对无限时域最优控制问题进行时间离散化，基于受控动力学在空间中构建树结构。
• 通过剪枝违反约束集的树分支来强制执行状态约束，确保仅保留可行轨迹。
• 该算法避免了事前定义的空间网格，消除了值函数重构过程中对插值的需求。
• 通过第二轮剪枝进一步降低树的复杂度，与无约束情况类似。
• 通过在树节点上插值来合成反馈控制，允许控制离散化分辨率高于值函数计算中所用的分辨率。
• 通过调整树结构和剪枝准则，将该方法扩展至有限时域问题，以适应时变约束。

实验结果

研究问题

• RQ1 树结构算法能否为带有凸状态约束的最优控制问题提供收敛且高效的数值近似？
• RQ2 缺乏固定空间网格在约束最优控制中对值函数近似精度和计算成本有何影响？
• RQ3 基于状态约束的剪枝能在多大程度上降低动态规划树的复杂度？
• RQ4 在约束问题中，TSA与经典网格化动态规划方法在性能和精度上相比如何？
• RQ5 树节点上的散列插值能否实现高精度的反馈控制合成，且控制输入分辨率高于值函数计算所用的分辨率？

主要发现

• 与经典网格化方法相比，TSA将CPU时间减少了约33%，在测试案例中TSA耗时17秒，而网格方法耗时25秒。
• 由于基于树的空间结构，值函数近似仅依赖时间步长 $ h $，无需插值，即可实现高精度。
• 通过TSA计算的最优轨迹与经典方法高度一致，代价函数值几乎相同，验证了方法的准确性。
• 树结构通过剪枝自然地尊重状态约束，即使在复杂约束区域也能实现稳定且可行的轨迹计算。
• 在树节点上进行的散列插值允许以高于值函数计算中所用分辨率的控制输入数量，实现高精度的反馈控制合成。
• 尽管收敛性结果仅限于凸情况，该方法在数值测试中成功处理了凸与非凸约束。