[논문 리뷰] Numerical Synthesis of Pontryagin Optimal Control Minimizers Using Sampling-Based Methods

Runxin He, Humberto González‐Díaz|arXiv (Cornell University)|2017. 03. 31.

Advanced Optimization Algorithms Research참고 문헌 15인용 수 4

한 줄 요약

이 논문은 일반적인 동적 시스템에 대해 펄스폭변조(PWM) 복원과 이완 제어를 활용하여 포트리아진 최적 제어 입력을 샘플링 기반 직접 방법으로 합성하는 방법을 제안한다. 포트리아진 최적 제어와 이완 최적 제어 간의 등가성을 확립함으로써, 증명 가능하게 수렴하는 반복 알고리즘을 통해 최소 원칙 해에 수렴함을 보장하며, 간접 방법이나 복잡한 경계값 문제 해소기법에 의존하지 않고도 높은 품질의 수치적으로 효율적인 최소화자를 확보한다.

ABSTRACT

Optimal control remains as one of the most versatile frameworks in systems theory, enabling applications ranging from classical robust control to real-time safe operation of fleets of vehicles. While some optimal control problems can be efficiently solved using algebraic or convex methods, most general forms of optimal control must be solved using memory- expensive numerical methods. In this paper we present a theoretical formulation and a corresponding numerical algorithm that can find Pontryagin- optimal inputs for general dynamical systems by using a direct method. Pontryagin-optimal inputs, those satisfying the Minimum Principle, can be found for many classes of problems using indirect methods. But convergent numerical methods to solve indirect problems are hard to find and often converge slowly. On the other hand, convergent direct optimal control methods are fast and founded on solid theory, but their limit points are usually Banach-optimal inputs, which are a weaker form of optimality condition. Our result, founded on the theory of relaxed inputs as defined by J. Warga, establishes an equivalence between Pontryagin- optimal inputs and optimal relaxed inputs. Then, we formu- late a sampling-based numerical method to approximate the Pontryagin-optimal relaxed inputs using an iterative method. Finally, using a provably-convergent numerical method, we synthesize approximations of the Pontryagin-optimal inputs from the sampled relaxed inputs.

연구 동기 및 목표

• 이론적 포트리아진 최적 제어와 최소 원칙 해로 수렴하는 구현 가능한 수치 알고리즘 간 격차를 메우기 위해.
• 느린 수렴과 초기 추정치에 대한 민감성 등의 간접 방법의 한계를 극복하기 위해 수렴성이 보장된 직접 방법을 사용하기 위해.
• 포트리아진 최적 궤적과 입력의 고해상도 근사치를 생성하는 수치적으로 효율적이고 확장 가능한 프레임워크를 개발하기 위해.
• 제약 조건이 있는 LQR 및 비선형 큐드로터 헬리콥터 제어 문제에 대해 제안된 방법의 효과성을 입증하고 철저한 수렴 검증을 수행하기 위해.

제안 방법

• 이론은 이완 제어 이론에 기반하여, 포트리아진 최적 입력과 최적 이완 제어 간의 등가성을 확립함으로써 직접적인 수치적 처리가 가능하도록 한다.
• 샘플링 기반 알고리즘은 제어 공간 U 내에서 제어 값의 유한 집합을 사용하여 제어 집합 상에서 이완 제어의 이산 근사치를 생성한다.
• 반복적인 직접 최적화 방법은 시간 이산화된 상태 및 제어 궤적을 사용하여 시스템 역학을 고려한 비용 함수를 최소화한다.
• PWM(pulse-width modulation) 복원 기반 투영 단계는 이완 제어 샘플에서 조각별로 일정한 제어 입력을 합성함으로써 정확한 궤적 근사치를 가능하게 한다.
• 알고리즘은 최적성 함수 θ_N,h에 기반한 수렴 기준을 사용하며, 이는 반복적으로 모니터링되어 허용 오차 한계 ε_tol 이하로 내려갈 때까지 진행된다.
• 이론적 등가성인 이완 제어와 고전적 최적 제어 간의 관계를 활용하여, 포트리아진 최소 원칙을 만족하는 해로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 최소 원칙 해로 수렴하는 직접 수치적 방법을 설계할 수 있는가, 아니면 단지 1차 최적 조건에만 수렴하는가?
• RQ2 어떻게 이완 제어 이론을 활용하여 직접 방법이 최소 원칙 해를 달성할 수 있는가?
• RQ3 PWM 복원과 함께 샘플링 기반 접근법이 포트리아진 최적 궤적과 입력의 정확하고 수치적으로 효율적인 근사치를 생성할 수 있는가?
• RQ4 제안된 알고리즘의 실용적 수렴 행동은 어떠한가, 그리고 표준 직접 또는 간접 방법과 비교해 볼 때 어떻게 다른가?

주요 결과

• 제약 조건이 있는 LQR 시뮬레이션에서 알고리즘이 ε_tol = 10⁻⁵ 허용 오차 기준으로 62회 반복 내에 수렴함을 확인하여 포트리아진 최적 해로의 수렴을 검증하였다.
• 큐드로터 헬리콥터 시뮬레이션에서는 두 목표 위치 모두에서 ε_tol = 10⁻⁴ 기준으로 40회 이내에 수렴하였으며, 다양한 초기 조건에서도 강건함을 입증하였다.
• PWM 복원은 이완 제어 입력을 정확히 반영하는 조각별 일정한 제어 입력을 성공적으로 생성하여 정확한 궤적 추적을 가능하게 하였다.
• 이 방법은 낮은 제어 입력 에너지를 기록하였으며, LQR 케이스에서는 첫 0.1초 동안에만 입력이 활성화되어 에너지 효율성을 보였다.
• LQR 케이스에서 최종 상태는 x(T) = (-0.29, -0.56, -0.06)였으며, 목표 종단 조건을 정밀하게 추적함을 보였다.
• 伝통적인 간접 방법과 달리 복잡한 경계값 문제 해소기법이나 민감한 초기 추정치 없이도 높은 품질의 최소화자를 도출하였다.