[논문 리뷰] Algorithm for Overcoming the Curse of Dimensionality for State-dependent Hamilton-Jacobi equations

Yat Tin Chow, Jérôme Darbon외 2명|arXiv (Cornell University)|2017. 04. 08.

Advanced Optimization Algorithms Research참고 문헌 29인용 수 7

한 줄 요약

이 논문은 일반화된 Lax 유형 최소화 원리와 Hopf 유형 최대화 원리를 활용하여 상태에 의존하는 해밀턴-자비의 (HJ) 편미분방정식(HJ PDE)에서 차원의 극복 문제를 해결하기 위해 새로운 알고리즘을 제안한다. 이는 단일 벡터에 대한 유한차원 최적화 문제로 해를 재정의함으로써, 그리드 기반 이산화를 피하고 고차원에서의 계산 비용을 감소시킨다. 이 방법은 비볼록 HJ PDE에 대해 확장 가능한, 당연히 병렬 처리가 가능한 계산을 가능하게 하며, 7차원까지의 수치 실험을 통해 합리적인 런타임과 다수의 초기 추측값 및 전역 최적성에 대한 증명서를 통한 강건성을 입증하였다.

ABSTRACT

In this paper, we develop algorithms to overcome the curse of dimensionality in possibly non-convex state-dependent Hamilton-Jacobi equations (HJ PDEs) arising from optimal control and differential game problems. The subproblems are independent and can be implemented in an embarrassingly parallel fashion. This is an ideal setup for perfect scaling in parallel computing. The algorithm is proposed to overcome the curse of dimensionality [1, 2] when solving HJ PDE. The major contribution of the paper is to change an optimization problem over a space of curves to an optimization problem of a single vector, which goes beyond [23]. We extend [5, 6, 8], and conjecture a (Lax-type) minimization principle when the Hamiltonian is convex, as well as a (Hopf-type) maximization principle when the Hamiltonian is non-convex. The conjectured Hopf-type maximization principle is a generalization of the well-known Hopf formula [11, 16, 30]. We validated formula under restricted assumptions, and bring our readers to [57] which validates that our conjectures in a more general setting after a previous version of our paper. We conjectured the weakest assumption is a psuedoconvexity assumption similar to [46]. The optimization problems are of the same dimension as that of the HJ PDE. We suggest a coordinate descent method for the minimization procedure in the generalized Lax/Hopf formula, and numerical differentiation is used to compute the derivatives. This method is preferable since the evaluation of the function value itself requires some computational effort, especially when we handle high dimensional optimization problem. The use of multiple initial guesses and a certificate of correctness are suggested to overcome possibly multiple local extrema since the optimization process is no longer convex. Our method is expected to have application in control theory and differential game problems, and elsewhere.

연구 동기 및 목표

• 최적 제어 및 미분 게임에서 발생하는 상태에 의존하는 해밀턴-자비의 (HJ) 편미분방정식(HJ PDE)에서의 차원의 극복 문제를 해결하기 위해.
• 격자 기반 이산화를 피하고 고차원에서 계산 비용을 감소시키는 확장 가능한, 병렬 처리 가능한 알고리즘을 개발하기 위해.
• 고전적 Lax 및 Hopf 공식을 비볼록, 상태에 의존하는 해밀턴함수로 일반화하기 위해 추측된 최소화 및 최대화 원리를 제안하기 위해.
• 다양한 무작위 초기 추측값과 계산된 해의 전역 최적성에 대한 증명서를 통해 비볼록 최적화에서 국소 최소값에 대한 강건성을 확보하기 위해.
• 기존의 Lax-Friedrichs와 같은 기법들과 비교하여 정확성과 효율성을 입증하기 위해 최대 7차원 문제에서 수치적 검증을 수행하기 위해.

제안 방법

• 공간 격자 없이 상태에 의존하는 HJ PDE의 해를 단일 벡터에 대한 유한차원 최적화 문제로 재정의한다.
• 볼록 해밀턴함수의 경우 일반화된 Lax 유형 최소화 원리를, 비볼록 케이스의 경우 추측된 Hopf 유형 최대화 원리를 적용한다.
• 함수 평가 횟수를 줄이기 위해 수치 미분을 동반한 좌표 강하법을 사용하여 고차원에서의 계산 오버헤드를 감소시킨다.
• 최적화 기능 내에서 이중 특성선에 대한 수치 미분 방정식 해법과 시간 적분을 위한 수치 적분 기법을 사용한다.
• 계산된 최소값의 전역 최적성을 검증하기 위한 증명서를 도입하여 국소 최소값을 식별하고 제거하며, 새로운 무작위 초기 추측값으로 재초기화한다.
• 하나의 하위 문제들이 서로 분리되어 있음을 이용하여 당연히 병렬 처리가 가능한 계산을 가능하게 하여 고성능 컴퓨팅 아키텍처에 이상적이다.

실험 결과

연구 질문

• RQ1 상태에 의존하는 HJ PDE에서의 차원의 극복 문제는 PDE 해를 유한차원 최적화 문제로 변환함으로써 극복될 수 있는가?
• RQ2 일반화된 Hopf 유형 최대화 원리는 고전적 Hopf 공식을 비볼록, 상태에 의존하는 해밀턴함수로 확장할 수 있는가?
• RQ3 제안된 방법은 다수의 국소 최소값을 포함한 고차원 비볼록 HJ PDE를 얼마나 효과적으로 다룰 수 있는가?
• RQ4 격자 이산화 없이도 미분 방정식 해법, 적분 및 미분에서 발생하는 수치 오차를 효과적으로 통제할 수 있는가?
• RQ5 다양한 초기 추측값과 정확성 증명서의 사용이 전역 해로의 수렴에 얼마나 기여하는가?

주요 결과

• 이 알고리즘은 7차원까지의 비볼록, 상태에 의존하는 HJ PDE에 대해 수용 가능한 계산 비용으로 해를 성공적으로 계산하였으며, 7차원에서 한 점당 약 0.54초의 런타임을 기록하였다.
• 고비볼록성의 정도가 높은 2차원 비볼록 예제에서, 국소 최소값과 기울기 굴곡의 영향으로 파면에 약간의 오차가 발생하여 기능적 구조에 민감함을 보였다.
• 무작위 초기 추측값을 사용한 좌표 강하법은 길고 얕은 기울기 굴곡으로 인해 자주 국소 최소값으로 수렴하는 경향이 있어, 고급 최적화 기법의 필요성을 시사한다.
• 제안된 최대화 원리를 통한 해는 이론적 가정이 완전히 충족되지 않은 경우에도 벤치마크 사례에서 Lax-Friedrichs 기법과 밀도적으로 유사한 결과를 보였다.
• 정확성 증명서의 사용은 비볼록 환경에서 국소 최소값을 효과적으로 식별하고 제거하여 신뢰도를 향상시켰다.
• 이 방법은 확장성과 병렬 처리 능력을 입증하였으며, 차원에 따라 계산 시간이 유리하게 스케일링됨을 보여, 고차원 제어 및 게임 이론 문제에의 적용 가능성을 시사한다.