[논문 리뷰] A tree structure algorithm for optimal control problems with state constraints

Alessandro Alla, Maurizio Falcone외 1명|arXiv (Cornell University)|2020. 09. 25.

Advanced Control Systems Optimization참고 문헌 20인용 수 5

한 줄 요약

이 논문은 상태 제약 조건이 있는 최적 제어 문제를 위한 트리 구조 알고리즘(TSA)을 소개한다. 이는 시간 이산화와 동적 프ogramming을 사용하며, 제약 조건을 위반하는 분기를 잘라내는 트리 기반의 공간적 구조를 갖는다. 이 방법은 고정 격자를 피하고, 전통적인 격자 방법 대비 최대 33%의 CPU 시간을 절감하며, 산산이 흩어진 점들에 대한 보간을 통해 정확한 피드백 제어 합성을 가능하게 한다. 유한 수명 문제에서 볼록 제약 조건에 대해 수렴성이 증명되었다.

ABSTRACT

We present a tree structure algorithm for optimal control problems with state constraints. We prove a convergence result for a discrete time approximation of the value function based on a novel formulation of the constrained problem. Then the Dynamic Programming approach is developed by a discretization in time leading to a tree structure in space derived by the controlled dynamics, in this construction the state constraints are taken into account to cut several branches of the tree. Moreover, an additional pruning allows for the reduction of the tree complexity as for the case without state constraints. Since the method does not use an a priori space grid, no interpolation is needed for the reconstruction of the value function and the accuracy essentially relies on the time step $h$. These features permit a reduction in CPU time and in memory allocations. The synthesis of optimal feedback controls is based on the values on the tree and an interpolation on the values obtained on the tree will be necessary if a different discretization in the control space is adopted, e.g. to improve the accuracy of the method in the reconstruction of the optimal trajectories. Several examples show how this algorithm can be applied to problems in low dimension and compare it to a classical DP method on a grid.

연구 동기 및 목표

• 차원의 극복 문제를 피하는 상태 제약 조건이 있는 최적 제어 문제를 위한 격자 없는 수치적 방법을 개발한다.
• 다중값 분석 도구를 사용하여 볼록 상태 제약 조건 하에서 값 함수의 이산 시간 근사의 수렴성을 증명한다.
• 동적 프로그래밍 트리의 복잡도를 줄이기 위해 트리 구조 알고리즘(TSA)을 유한 수명 문제에 확장하고, 계산 복잡도를 감소시킨다.
• 나무 노드에서 산산이 흩어진 보간을 통해 정확한 피드백 제어 합성을 가능하게 하며, 값 함수 계산에 사용된 것보다 더 높은 해상도의 제어 이산화를 허용한다.
• 낮은 차원 문제에서 볼록 및 비볼록 제약 조건을 갖는 경우에 대해 이 방법의 효율성과 정확성을 시험하고, 전통적인 격자 기반 동적 프로그래밍 방법과 비교한다.

제안 방법

• 무한 수명 최적 제어 문제의 시간 이산화를 사용하며, 제어된 역학에 기반한 공간에 트리를 구성한다.
• 상태 제약 조건은 제약 조건 집합을 위반하는 트리 분기를 잘라내어 시행 가능한 궤도만 유지함으로써 강제로 적용된다.
• 사전에 공간 격자를 설정하지 않아, 값 함수 재구성 과정에서 보간이 필요 없게 된다.
• 두 번째 잘라내기 단계는 트리 복잡도를 추가로 감소시키며, 비제약 조건이 없는 경우와 유사하다.
• 피드백 제어는 트리 노드의 값에 대한 보간을 통해 합성되며, 값 함수 계산에 사용된 것보다 더 높은 해상도의 제어 이산화를 허용한다.
• 시간에 따라 변하는 제약 조건에 맞게 트리 구조와 잘라내기 기준을 조정하여, 이 방법을 유한 수명 문제로 확장한다.

실험 결과

연구 질문

• RQ1 트리 구조 알고리즘이 볼록 상태 제약 조건이 있는 최적 제어 문제에 대해 수렴성과 효율성을 보장하는 수치적 근사 방법이 될 수 있는가?
• RQ2 고정된 공간 격자가 없는 것이 제약 조건이 있는 최적 제어 문제에서 값 함수 근사의 정확성과 계산 비용에 어떤 영향을 미치는가?
• RQ3 상태 제약 조건 기반의 잘라내기가 동적 프로그래밍 트리의 복잡도를 어느 정도 감소시킬 수 있는가?
• RQ4 제약 조건이 있는 문제에서 TSA는 전통적인 격자 기반 동적 프로그래밍 방법과 비교해 성능 및 정확도에서 어떤가?
• RQ5 트리 노드에서 산산이 흩어진 보간을 통해 더 높은 수준의 제어 입력 수를 사용하는 고정밀 피드백 제어 합성을 가능하게 할 수 있는가?

주요 결과

• TSA는 전통적인 격자 기반 방법 대비 약 33%의 CPU 시간 절감을 보였으며, 테스트 케이스에서 TSA는 17초, 격자 방법은 25초였다.
• 트리 기반 공간 구조 덕분에 보간 없이도 시간 간격 $ h $ 만으로도 값 함수 근사가 매우 정확하게 이루어졌다.
• TSA를 통해 계산된 최적 궤도는 전통적 방법과 거의 동일한 비용 기능 값과 일치하여 정확성이 확인되었다.
• 트리 구조는 잘라내기로 상태 제약 조건을 자연스럽게 준수하여, 복잡한 제약 영역에서도 안정적이고 실현 가능한 궤도 계산이 가능했다.
• 트리 노드에서 산산이 흩어진 보간을 통해 값 함수 계산에 사용된 것보다 더 많은 제어 입력 수를 사용하는 정확한 피드백 제어 합성을 가능하게 했다.
• 수렴 결과가 볼록 케이스에 국한되어 있음에도 불구하고, 수치 실험에서 이 방법은 볼록 및 비볼록 제약 조건을 모두 성공적으로 처리했다.