[论文解读] Algorithm for Overcoming the Curse of Dimensionality for State-dependent Hamilton-Jacobi equations

Yat Tin Chow, Jérôme Darbon+2 more|arXiv (Cornell University)|Apr 8, 2017

Advanced Optimization Algorithms Research参考文献 29被引用 7

一句话总结

本文提出一种新算法，通过将解重新表述为单一向量上的有限维优化问题，利用广义Lax型最小化与Hopf型最大化原理，克服状态相关Hamilton-Jacobi（HJ）PDE中的维数灾难。该方法使非凸HJ PDE在高维下的可扩展、无需依赖网格的并行计算成为可能，通过数值实验验证至7维，计算时间可接受，且通过多组初始猜测和全局最优性证书确保鲁棒性。

ABSTRACT

In this paper, we develop algorithms to overcome the curse of dimensionality in possibly non-convex state-dependent Hamilton-Jacobi equations (HJ PDEs) arising from optimal control and differential game problems. The subproblems are independent and can be implemented in an embarrassingly parallel fashion. This is an ideal setup for perfect scaling in parallel computing. The algorithm is proposed to overcome the curse of dimensionality [1, 2] when solving HJ PDE. The major contribution of the paper is to change an optimization problem over a space of curves to an optimization problem of a single vector, which goes beyond [23]. We extend [5, 6, 8], and conjecture a (Lax-type) minimization principle when the Hamiltonian is convex, as well as a (Hopf-type) maximization principle when the Hamiltonian is non-convex. The conjectured Hopf-type maximization principle is a generalization of the well-known Hopf formula [11, 16, 30]. We validated formula under restricted assumptions, and bring our readers to [57] which validates that our conjectures in a more general setting after a previous version of our paper. We conjectured the weakest assumption is a psuedoconvexity assumption similar to [46]. The optimization problems are of the same dimension as that of the HJ PDE. We suggest a coordinate descent method for the minimization procedure in the generalized Lax/Hopf formula, and numerical differentiation is used to compute the derivatives. This method is preferable since the evaluation of the function value itself requires some computational effort, especially when we handle high dimensional optimization problem. The use of multiple initial guesses and a certificate of correctness are suggested to overcome possibly multiple local extrema since the optimization process is no longer convex. Our method is expected to have application in control theory and differential game problems, and elsewhere.

研究动机与目标

• 解决最优控制与微分博弈中出现的状态相关Hamilton-Jacobi PDE的维数灾难问题。
• 开发一种可扩展、可并行化的算法，避免基于网格的离散化，降低高维下的计算成本。
• 通过推测的最小化与最大化原理，将经典Lax与Hopf公式推广至非凸、状态相关的哈密顿量。
• 通过多组随机初始猜测与解的正确性证书，确保在非凸优化中对局部极小值的鲁棒性。
• 在最高达7维的问题上通过数值实验验证该方法，与Lax-Friedrichs等传统方法相比，展示出准确性和高效性。

提出的方法

• 将状态相关HJ PDE的解重新表述为对单一向量的有限维优化问题，避免对空间网格的依赖。
• 对凸哈密顿量采用广义Lax型最小化原理，对非凸情形采用推测的Hopf型最大化原理。
• 使用坐标下降法结合数值微分，以减少高维下的函数评估开销，降低计算负担。
• 在优化泛函中使用数值Ode求解器求解双特征线，使用数值积分方法处理时间积分。
• 通过正确性证书验证所计算最小值的全局最优性，排除局部极小值，并以新随机初始猜测重新初始化。
• 通过解耦子问题实现无需依赖的并行计算，适用于高性能计算架构。

实验结果

研究问题

• RQ1 能否通过将PDE解转化为有限维优化问题，克服状态相关HJ PDE中的维数灾难？
• RQ2 广义Hopf型最大化原理是否可将经典Hopf公式推广至非凸、状态相关的哈密顿量？
• RQ3 该方法在处理具有多个局部极小值的高维、非凸HJ PDE时效果如何？
• RQ4 在不采用空间离散化的情况下，能否有效控制Ode求解器、积分与微分带来的数值误差？
• RQ5 多组初始猜测与正确性证书在多大程度上提升了收敛至全局解的能力？

主要发现

• 该算法在计算非凸、状态相关的HJ PDE时，成功处理至7个空间维，计算成本可接受，7维下每点计算时间约为0.54秒。
• 在2D非凸示例中，由于局部极小值与梯度沟壑的存在，波前出现微小缺陷，表明对函数景观敏感。
• 由于存在长而平缓的梯度沟壑，采用随机初始猜测的坐标下降法常收敛至局部极小值，凸显对先进优化技术的需求。
• 即使理论假设未完全满足，通过所提最大化原理计算的解在基准案例中仍与Lax-Friedrichs格式高度一致。
• 正确性证书能有效识别并排除非全局极小值，显著提升非凸场景下的可靠性。
• 该方法展现出良好的可扩展性与并行性，计算时间随维度增长保持有利趋势，表明其在高维控制与博弈论问题中的适用潜力。