[논문 리뷰] Value Function and Optimal Trajectories for Regional Control Problems via Dynamic Programming and Pontryagin Maximum Principles

Guy Barles, Ariela Briani외 1명|arXiv (Cornell University)|2016. 05. 13.

Optimization and Variational Analysis참고 문헌 41인용 수 4

한 줄 요약

이 논문은 상태공간 경계를 기준으로 비연속적인 역학과 비용 함수를 가진 지역 최적 제어 문제에 대해 동적 프로그래밍과 본트랴긴의 최대원리 간의 연결 고리를 설정한다. 카운터블한 스위칭(징글링을 포함하지 않음)을 가정할 때, 값 함수를 유도하고 하이브리드 최적 제어 프레임워크에서 새로운 연속성 결과를 증명한다.

ABSTRACT

In this paper we study the optimal trajectories for regional, deterministic optimal control problems, i.e., problems where the dynamics and the cost functional can be completely different in two regions of the state space and therefore present discontinuities at their interface. Our first aim is to prove the classical link between the study of optimality conditions and the Bell-man approach in this framework, and then exploit it to recover the value function under the assumption that optimal trajectories have only a countable number of switchings between the different regions. From an application point of view this is a very reasonable assumption because in practice one never implements chattering trajectories (i.e., enjoying the Zeno phenomenon). As a consequence of our description we obtain a new regularity result for the value function in the framework of hybrid optimal control problems.

연구 동기 및 목표

• 비연속적인 역학과 비용 함수를 가진 지역 최적 제어 문제에서 동적 프로그래밍과 본트랴긴의 최대원리 간 고전적 연결 고리를 설정하는 것.
• 상태공간 영역 간에 다른 역학과 비용을 가지는 하이브리드 시스템에서 최적 궤적을 분석하는 것.
• 징글링(제노) 행동을 배제함으로써 카운터블한 스위칭 수를 물리적으로 타당한 것으로 정당화하는 것.
• 이러한 스위칭 가정 하에 값 함수를 유도하고 하이브리드 최적 제어 설정에서 그 연속성 특성을 증명하는 것.
• 동적 프로그래밍과 최대원리 접근법을 동시에 사용하여 상태공간의 비연속성을 가진 지역 제어 문제를 해결하기 위한 이론적 기초를 제공하는 것.

제안 방법

• 두 상태공간 영역에서 별개의 역학과 비용 함수를 가진 지역 최적 제어 문제를 수식화하는 것.
• 비연속성 존재 조건 하에서 값 함수에 대한 하미르톤-자코비-벨만 방정식을 도출하기 위해 동적 프로그래밍을 적용하는 것.
• 경계를 횡단하는 궤적에 대한 필요 최적성 조건을 특성화하기 위해 본트랴긴의 최대원리를 적용하는 것.
• 카운터블한 스위칭 제약 조건 하에서 동적 프로그래밍을 통해 유도된 값 함수와 최대원리로부터 도출된 최적 비용 간의 동치성을 확립하는 것.
• 영역 간에 카운터블한 수의 스위칭만 존재할 경우 값 함수가 리프시츠 연속임을 증명하는 것.
• 문제의 하이브리드 구조를 활용하여 경계를 기준으로 한 값 함수의 연속성 및 정규성 특성을 분석하는 것.

실험 결과

연구 질문

• RQ1 비연속적인 역학을 가진 지역 최적 제어 문제에서 동적 프로그래밍 원리와 본트랴긴의 최대원리는 어떻게 통합될 수 있는가?
• RQ2 상태공간의 비연속성 존재 조건 하에서 하이브리드 최적 제어 시스템에서 값 함수의 존재성과 정규성은 어떤 조건을 필요로 하는가?
• RQ3 최적 궤적이 영역 간에 카운터블한 수의 스위칭만을 가지는 것으로 보장받기 위해 어떤 가정이 필요한가?
• RQ4 징글링(제노) 행동의 부재는 값 함수의 구조와 정규성에 어떤 영향을 미치는가?
• RQ5 이 하이브리드 프레임워크에서 하미르톤-자코비-벨만 방정식과 최대원리에 의해 도출된 필요 최적성 조건 간의 이론적 연결 고리는 무엇인가?

주요 결과

• 비연속적인 역학을 가진 지역 최적 제어 문제에서 동적 프로그래밍 접근법과 본트랴긴의 최대원리 간 엄밀한 연결 고리가 확립되었다.
• 영역 간에 카운터블한 수의 스위칭만 존재할 경우 값 함수가 리프시츠 연속임이 입증되었다.
• 징글링 궤적을 배제함으로써 카운터블한 스위칭 가정이 물리적으로 타당하다는 점이 정당화되었다.
• 분석을 통해 기존 결과를 비연속 설정으로 확장한 하이브리드 최적 제어 문제에서 값 함수에 대한 새로운 정규성 결과가 도출되었다.
• 제시된 가정 하에 동적 프로그래밍을 통해 유도된 값 함수와 최대원리로부터 도출된 최적 비용 간의 동치성이 공식적으로 증명되었다.
• 이 틀은 동적 프로그래밍과 최대원리 기법을 동시에 사용하여 상태공간의 비연속성을 가진 지역 제어 문제를 해결하기 위한 통합된 이론적 기초를 제공한다.