[论文解读] Mitigating the Curse of Dimensionality: Sparse Grid Characteristics Method for Optimal Feedback Control and HJB Equations

Wei Kang, Lucas C. Wilcox|arXiv (Cornell University)|Jul 16, 2015

Computational Fluid Dynamics and Aerodynamics参考文献 30被引用 6

一句话总结

本文提出一种稀疏网格特征法，以缓解求解高阶哈密顿-雅可比-贝尔曼（HJB）方程进行最优反馈控制时的维数灾难问题。通过应用庞特里亚金最大值原理，在稀疏网格点上推导特征两点边值问题，该方法实现了无因果依赖的完全并行计算，并通过插值实现高阶精度，成功求解了包含超过45万个网格点的6维系统——远优于需要超过一万亿个网格点的密集网格方法。

ABSTRACT

We address finding the semi-global solutions to optimal feedback control and the Hamilton--Jacobi--Bellman (HJB) equation. Using the solution of an HJB equation, a feedback optimal control law can be implemented in real-time with minimum computational load. However, except for systems with two or three state variables, using traditional techniques for numerically finding a semi-global solution to an HJB equation for general nonlinear systems is infeasible due to the curse of dimensionality. Here we present a new computational method for finding feedback optimal control and solving HJB equations which is able to mitigate the curse of dimensionality. We do not discretize the HJB equation directly, instead we introduce a sparse grid in the state space and use the Pontryagin's maximum principle to derive a set of necessary conditions in the form of a boundary value problem, also known as the characteristic equations, for each grid point. Using this approach, the method is spatially causality free, which enjoys the advantage of perfect parallelism on a sparse grid. Compared with dense grids, a sparse grid has a significantly reduced size which is feasible for systems with relatively high dimensions, such as the $6$-D system shown in the examples. Once the solution obtained at each grid point, high-order accurate polynomial interpolation is used to approximate the feedback control at arbitrary points. We prove an upper bound for the approximation error and approximate it numerically. This sparse grid characteristics method is demonstrated with two examples of rigid body attitude control using momentum wheels.

研究动机与目标

• 解决高维非线性系统中求解HJB方程进行最优反馈控制时的维数灾难问题。
• 开发一种无因果依赖的数值方法，实现现代计算架构上的完美并行化，以实现高效计算。
• 利用稀疏网格提供HJB方程的半全局解，与密集网格相比显著减少网格规模。
• 通过高阶多项式插值和可数值验证的误差界，确保高精度。

提出的方法

• 该方法在状态空间中构建稀疏网格，与密集网格相比，显著减少了网格点数量。
• 对于每个网格点，应用庞特里亚金最大值原理，推导出作为特征方程的两点边值问题（BVP）。
• 通过Lobatto IIIa方法独立求解各BVP，由于不存在空间因果依赖，实现了完美并行化。
• 利用各网格点的解构造高阶多项式插值，以实现对任意状态的反馈控制。
• 该方法避免了对HJB PDE的直接离散化，而是通过特征方法求解必要条件。
• 推导了总近似误差的上界，并通过蒙特卡洛采样进行数值验证。

实验结果

研究问题

• RQ1 对于具有六个或更多状态变量的系统，能否有效缓解HJB方程求解中的维数灾难问题？
• RQ2 如何在最优控制问题中实现无因果依赖的计算，以在现代硬件上实现完美并行化？
• RQ3 通过稀疏网格上的插值，反馈控制的可实现精度如何？误差是否可定量界定？
• RQ4 该方法能否求解具有复杂动力学的系统，例如带有动量轮的不可控刚体姿态控制问题？
• RQ5 该方法能否通过时间-状态空间稀疏网格扩展至变时间 horizon 模型预测控制（MPC）？

主要发现

• 该方法成功利用约4.5 × 10⁵个稀疏网格点求解了一个6维HJB方程，而对应的密集网格需要超过10¹²个点。
• 插值值函数V(t, x)的平均绝对误差（MAE）为8.5 × 10⁻⁴，误差分布的方差为2.8 × 10⁻⁶。
• 通过在每个网格点独立求解BVP，实现了完美并行化，从而高效利用多核计算架构。
• 结合插值与BVP求解误差的上界通过1,200个随机测试点进行了数值近似与验证。
• 该方法实现了有效的闭环控制，采用具有变时间 horizon 的模型预测控制（MPC），即使在存在状态噪声的情况下也表现良好。
• 首次为一个包含两对动量轮的6维刚体姿态控制系统的HJB方程提供了求解，该系统为不可控系统，此前未被求解。