[논문 리뷰] A Computationally Efficient Hamilton-Jacobi-based Formula for State-Constrained Optimal Control Problems

Donggun Lee, Claire J. Tomlin|arXiv (Cornell University)|2021. 06. 25.

Advanced Control Systems Optimization인용 수 5

한 줄 요약

이 논문은 비선형 시스템에서 상태 제약 조건이 있는 유한시간 최적 제어 문제를 해결하기 위해 계산적으로 효율적인 해밀턴-자코비 기반 공식, 즉 일반화된 라크스 공식을 제안한다. 상태 및 제어 변수에서의 볼록성과 애핀 동역학을 활용함으로써, 시간 이산화와 기울기 기반 최적화를 통해 효율적인 수치적 해를 도출할 수 있으며, 격자 기반 방법에 비해 계산 복잡도를 크게 감소시킨다.

ABSTRACT

This paper investigates a Hamilton-Jacobi (HJ) analysis to solve finite-horizon optimal control problems for high-dimensional systems. Although grid-based methods, such as the level-set method [1], numerically solve a general class of HJ partial differential equations, the computational complexity is exponential in the dimension of the continuous state. To manage this computational complexity, methods based on Lax-Hopf theory have been developed for the state-unconstrained optimal control problem under certain assumptions, such as affine dynamics and state-independent stage cost. Based on the Lax formula [2], this paper proposes an HJ formula for the state-constrained optimal control problem for nonlinear systems. We call this formula \ extit{the generalized Lax formula} for the optimal control problem. The HJ formula provides both the optimal cost and an optimal control signal. We also provide an efficient computational method for a class of problems for which the dynamics is affine in the state, and for which the stage and terminal cost, as well as the state constraints, are convex in the state. This class of problems does not require affine dynamics and convex stage cost in the control. This paper also provides three practical examples.

연구 동기 및 목표

• 고차원 최적 제어 문제에서 격자 기반 해밀턴-자코비(HJ) 방법의 지수적 계산 복잡도를 해결하기 위해.
• 비선형 동역학과 일반 단계 비용을 갖는 상태 제약 조건이 있는 최적 제어 문제로 라크스-홉프 이론을 확장하기 위해.
• 애핀 동역학과 볼록 단계/종료 비용, 상태 제약 조건을 갖는 시스템에 대해 계산적으로 효율적인 방법을 개발하기 위해.
• 수치적으로 다룰 수 있는 최적화 프레임워크를 통해 최적 비용과 제어 신호를 동시에 제공하는 공식을 제공하기 위해.

제안 방법

• 비용상태 변수에서 해밀턴리안이 볼록인 상태 제약 조건이 있는 최적 제어 문제에 대해 일반화된 라크스 공식을 제안한다.
• HJ 편미분방정식(PDE)의 시간 이산화를 통해 문제를 유한차원 최적화 문제로 변환한다.
• 문제가 볼록일 경우에만 다룰 수 있는 기울기 기반 최적화 기법을 이산화된 문제에 적용한다.
• 애핀 동역학, 볼록 단계 및 종료 비용, 볼록 상태 제약 조건을 갖는 문제의 일군에 대해 이 방법을 적용하며, 제어에 대한 애핀 동역학이 필요로 하지 않는다.
• 운동, 비용 및 종료 함수의 리프시츠 연속성을 이용해 오차 한계를 유도함으로써 근사 궤적의 수렴성을 보장한다.
• 실제 세 가지 예제를 통해 계산 효율성과 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 비선형 동역학과 일반 단계 비용을 갖는 상태 제약 조건이 있는 최적 제어 문제를 다룰 수 있도록 라크스 기반 공식을 일반화할 수 있는가?
• RQ2 최적성은 유지하면서 고차원 HJ PDE의 계산 복잡도를 어떻게 줄일 수 있는가?
• RQ3 어떤 조건에서 동역학 및 비용 함수가 기울기 기반 최적화를 통한 효율적 수치 해를 가능하게 하는가?
• RQ4 제안된 방법이 근사 해에 대해 정확성과 수렴성을 어느 정도 유지하는가?

주요 결과

• 일반화된 라크스 공식은 비선형 동역학을 갖는 상태 제약 조건이 있는 최적 제어 문제에서 최적 비용과 제어 신호를 모두 제공한다.
• 애핀 동역학과 볼록 단계/종료 비용 및 제약 조건을 갖는 시스템에서는, 시간 이산화된 문제에서 기울기 기반 최적화를 통해 효율적인 계산이 가능하다.
• 이산화가 더 미세해질수록 근사된 상태 및 제어 궤적이 진짜 해로 수렴하며, 오차 한계는 이산화 단위 크기와 근사 오차 허용 범위에 비례한다.
• 이론적 분석을 통해 비용 기능과 상태 궤적의 오차는 시간 이산화가 더 미세해지고 근사 오차가 감소할수록 감소함을 확인하였다.
• 격자 기반 방법에 비해 계산 복잡도를 감소시켜 이전에 다룰 수 없었던 더 높은 상태 차원의 문제에 대해서도 적용 가능하게 하였다.