[논문 리뷰] Algorithms for Overcoming the Curse of Dimensionality for Certain Hamilton-Jacobi Equations Arising in Control Theory and Elsewhere

Jérôme Darbon, Stanley Osher|arXiv (Cornell University)|2016. 05. 06.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 최적 제어 및 미분 게임에서 발생하는 고차원 해밀턴-자코비-아이즈어스 방정식을 해결하기 위해 그리드 불필요하고 볼록 최적화 기반의 알고리즘을 제안한다. 히포 공식과 빠른 $\beta_1$-유형 솔버를 활용하여, 각 점당 $10^{-4}$에서 $10^{-8}$초의 속도로 해를 평가하며, 다항식 시간 복잡도와 완전한 병렬화 가능성을 통해 차원의 극복 문제를 해결한다.

ABSTRACT

It is well known that time dependent Hamilton-Jacobi-Isaacs partial differential equations (HJ PDE), play an important role in analyzing continuous dynamic games and control theory problems. An important tool for such problems when they involve geometric motion is the level set method. This was first used for reachability problems. The cost of these algorithms, and, in fact, all PDE numerical approximations is exponential in the space dimension and time. In this work we propose and test methods for solving a large class of the HJ PDE relevant to optimal control problems without the use of grids or numerical approximations. Rather we use the classical Hopf formulas for solving initial value problems for HJ PDE. We have noticed that if the Hamiltonian is convex and positively homogeneous of degree one that very fast methods exist to solve the resulting optimization problem. This is very much related to fast methods for solving problems in compressive sensing, based on $\ell_1$ optimization. We seem to obtain methods which are polynomial in the dimension. Our algorithm is very fast, requires very low memory and is totally parallelizable. We can evaluate the solution and its gradient in very high dimensions at $10^{-4}$ to $10^{-8}$ seconds per evaluation on a laptop. We carefully explain how to compute numerically the optimal control from the numerical solution of the associated initial valued HJ-PDE for a class of optimal control problems. We show that our algorithms compute all the quantities we need to obtain easily the controller. The term curse of dimensionality, was coined by Richard Bellman in 1957 when considering problems in dynamic optimization.

연구 동기 및 목표

• 시간에 의존하는 해밀턴-자코비-아이즈어스 PDE를 최적 제어 및 미분 게임에서 해결할 때 발생하는 차원의 극복 문제를 해결한다.
• 볼록 해석 및 최적화를 활용하여 공간 차원에 따라 지수적 복잡도를 피하는 그리드 없는 방법을 개발한다.
• 고차원 환경에서 점근 해와 그 기울기를 빠르고 메모리 소비가 적으며 매우 병렬화 가능한 방식으로 평가할 수 있도록 한다.
• HJ PDE 해의 해로부터 최적 제어를 수치적으로 효율적으로 계산할 수 있는 방법을 제공한다.
• 고차원에서 다중 컴act 볼록 집합의 합집합으로부터 주어진 외부 점까지의 가장 가까운 점을 계산하는 빠른 알고리즘을 제시한다.

제안 방법

• 해밀턴-자코비-아이즈어스 PDE의 점근 해를 히포 공식을 사용해 Fenchel-Legendre 변환을 포함하는 이중 최적화 문제로 표현한다.
• 해를 $ J^*(v) + tH(v) - \langle x, v \rangle $의 최소화 문제로 공식화하며, 여기서 $ J $는 볼록인 초기 자료이고 $ H $는 볼록이면서 일차 동차이다.
• 압축 감지에서 유래한 빠른 알고리즘, 특히 $ \ell_1 $-기반 최적화 기법을 활용하여 이중 문제를 효율적으로 해결한다.
• Bregman 및 스플릿 Bregman 반복 방법을 적용하여, 증가된 라그랑주법 및 ADMM와 동치인 빠른 수렴을 달성한다.
• 이중 최적화 문제의 최소화자로부터 해의 기울기를 복원하며, 이는 최적 제어에 해당한다.
• 주어진 외부 점으로부터 다중 컴 pact 볼록 집합의 합집합까지의 가장 가까운 점을 계산하는 빠른 알고리즘을 개발하여, 기존의 딱시타 유형의 빠른 이동 방법보다 뛰어난 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 비그리드 기반 볼록 최적화 접근법을 통해 해밀턴-자코비 PDE에서 발생하는 차원의 극복 문제를 극복할 수 있는가?
• RQ2 현대의 1차 최적화 기법을 활용해 히포 공식을 고차원에서 효율적으로 구현할 수 있는가?
• RQ3 고차원 공간에서 평가당 $ \mathcal{O}(1) $ 시간 내에 해와 그 기울기를 계산할 수 있는가?
• RQ4 히포 공식의 기울기를 활용하여 HJ PDE 해로부터 최적 제어를 직접 추출할 수 있는가?
• RQ5 기존의 빠른 이동 또는 딱시타 기반 방법보다 다중 볼록 집합의 합집합으로부터 가장 가까운 점 문제를 더 빠르게 해결할 수 있는가?

주요 결과

• 제안된 알고리즘은 고차원에서도 노트북에서 평가당 $ 10^{-4} $에서 $ 10^{-8} $초의 속도로 해와 그 기울기를 평가한다.
• 전통적인 유한 차분 방법의 지수적 비용을 피하기 위해 차원 수에 대해 다항식 시간 복잡도를 달성한다.
• 알고리즘은 완전히 병렬화 가능하며 메모리 소비가 적어 대규모 문제에 적합하다.
• 해의 기울기—즉, 최적 제어—는 이중 최적화 문제의 최소화자로부터 직접 확보된다.
• 다양한 컴 pact 볼록 집합의 합집합으로부터 가장 가까운 점을 계산하는 새로운 빠른 알고리즘을 개발하여, 표준 빠른 이동 및 딱시타 기반 방법보다 뛰어난 성능을 발휘한다.
• 레벨 집합 진화 및 기하학적 운동 문제, 예를 들어 $ \ell_1 $ 및 $ \ell_2 $ 노름 하에서 타원체와 구의 내측 이동 문제를 성공적으로 처리한다.