[论文解读] Algorithms for Overcoming the Curse of Dimensionality for Certain Hamilton-Jacobi Equations Arising in Control Theory and Elsewhere

Jérôme Darbon, Stanley Osher|arXiv (Cornell University)|May 6, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用 7

一句话总结

本文提出一种无网格、基于凸优化的算法，用于求解最优控制和微分博弈中出现的高维Hamilton-Jacobi-Isaacs方程，利用Hopf公式和快速$β_1$-型求解器。该方法在高维空间中每一点的求解时间仅为$10^{-4}$至$10^{-8}$秒，通过多项式时间复杂度和完全可并行化，克服了维数灾难。

ABSTRACT

It is well known that time dependent Hamilton-Jacobi-Isaacs partial differential equations (HJ PDE), play an important role in analyzing continuous dynamic games and control theory problems. An important tool for such problems when they involve geometric motion is the level set method. This was first used for reachability problems. The cost of these algorithms, and, in fact, all PDE numerical approximations is exponential in the space dimension and time. In this work we propose and test methods for solving a large class of the HJ PDE relevant to optimal control problems without the use of grids or numerical approximations. Rather we use the classical Hopf formulas for solving initial value problems for HJ PDE. We have noticed that if the Hamiltonian is convex and positively homogeneous of degree one that very fast methods exist to solve the resulting optimization problem. This is very much related to fast methods for solving problems in compressive sensing, based on $\ell_1$ optimization. We seem to obtain methods which are polynomial in the dimension. Our algorithm is very fast, requires very low memory and is totally parallelizable. We can evaluate the solution and its gradient in very high dimensions at $10^{-4}$ to $10^{-8}$ seconds per evaluation on a laptop. We carefully explain how to compute numerically the optimal control from the numerical solution of the associated initial valued HJ-PDE for a class of optimal control problems. We show that our algorithms compute all the quantities we need to obtain easily the controller. The term curse of dimensionality, was coined by Richard Bellman in 1957 when considering problems in dynamic optimization.

研究动机与目标

• 解决最优控制和微分博弈中时间依赖的Hamilton-Jacobi-Isaacs PDE的维数灾难问题。
• 开发一种无网格方法，通过凸分析和优化技术避免空间维数带来的指数级复杂度。
• 实现在高维设置下对粘性解及其梯度的快速、低内存、高度可并行化的求解。
• 提供一种数值高效的计算方法，从HJ PDE的解中提取最优控制。
• 提出一种快速算法，用于计算高维空间中给定外部点到紧致凸集并集的最近点。

提出的方法

• 使用Hopf公式将HJ PDE的粘性解表示为涉及Fenchel-Legendre变换的对偶优化问题。
• 将解表述为最小化$ J^*(v) + tH(v) - \langle x, v \rangle $，其中$ J $为凸初始数据，$ H $为凸且关于一次齐次的函数。
• 利用压缩感知中的快速算法，特别是$ \ell_1 $-基优化，高效求解对偶问题。
• 应用Bregman和分裂Bregman迭代方法——等价于增广拉格朗日法和ADMM——以实现快速收敛。
• 利用对偶问题的最小化器恢复解的梯度，该梯度对应于最优控制。
• 开发一种快速算法，用于计算给定外部点到紧致凸集并集的最近点，优于传统的Dijkstra型快速行进法。

实验结果

研究问题

• RQ1 能否通过非网格化、基于凸优化的方法克服Hamilton-Jacobi PDE中的维数灾难？
• RQ2 能否在高维空间中高效实现Hopf公式，利用现代一阶优化技术？
• RQ3 能否在高维空间中实现每点求解$ \mathcal{O}(1) $时间复杂度的解及其梯度计算？
• RQ4 如何通过Hopf公式梯度的计算，直接从HJ PDE的解中提取最优控制？
• RQ5 能否比传统的快速行进法或Dijkstra型方法更快求解凸集并集的最近点问题？

主要发现

• 所提算法在笔记本电脑上每点求解的解及其梯度耗时为$10^{-4}$至$10^{-8}$秒，即使在高维空间中亦可实现。
• 该方法在维数数量上实现多项式时间复杂度，避免了传统有限差分格式的指数级开销。
• 该算法完全可并行化，且内存需求极低，适用于大规模问题。
• 解的梯度（对应于最优控制）可直接从对偶优化问题的最小化器中获得。
• 提出了一种新的快速算法，用于计算点到紧致凸集并集的最近点，优于标准快速行进法和Dijkstra型方法。
• 该方法成功处理了水平集演化和几何运动问题，包括在$ \ell_1 $和$ \ell_2 $范数下椭球和球体的向内运动。