[논문 리뷰] A Bellman approach for two-domains optimal control problems in $\R^N$

Guy Barles, Ariela Briani외 1명|arXiv (Cornell University)|2011. 12. 16.

Stability and Controllability of Differential Equations참고 문헌 16인용 수 8

한 줄 요약

이 논문은 $\mathbb{R}^N$에서 초평면을 기준으로 비연속적인 역학과 보상 비용을 가진 최적 제어 문제에 대해 벨만 접근법을 개발한다. 미분 포함을 통해 초평면에서의 궤적을 정의하며, 특이 역학이 제외된 경우 가치 함수가 유일한 해로 특징지어짐을 입증한다. 반면 최소 초해석과 최대 하위해석은 특이 역학을 허용하거나 금지하는 경우에 해당하며, 벨만 방정식의 비유일성 문제를 해결한다.

ABSTRACT

This article is the starting point of a series of works whose aim is the study of deterministic control problems where the dynamic and the running cost can be completely different in two (or more) complementary domains of the space $\R^N$. As a consequence, the dynamic and running cost present discontinuities at the boundary of these domains and this is the main difficulty of this type of problems. We address these questions by using a Bellman approach: our aim is to investigate how to define properly the value function(s), to deduce what is (are) the right Bellman Equation(s) associated to this problem (in particular what are the conditions on the set where the dynamic and running cost are discontinuous) and to study the uniqueness properties for this Bellman equation. In this work, we provide rather complete answers to these questions in the case of a simple geometry, namely when we only consider two different domains which are half spaces: we properly define the control problem, identify the different conditions on the hyperplane where the dynamic and the running cost are discontinuous and discuss the uniqueness properties of the Bellman problem by either providing explicitly the minimal and maximal solution or by giving explicit conditions to have uniqueness.

연구 동기 및 목표

• 역학과 보상 비용이 $\mathbb{R}^N$의 초평면을 기준으로 비연속적인 최적 제어 문제를 엄밀히 정의하는 것.
• 비연속성이 발생하는 인터페이스에서 가치 함수가 만족해야 할 올바른 벨만 방정식과 경계 조건을 규명하는 것.
• 특이 역학이 포함된 경우 발생하는 벨만 방정식의 비유일성 문제를 최소 및 최대 해를 특징화함으로써 해결하는 것.
• 특이 역학과 정규 역학이 인터페이스에서 가치 함수 결정에 미치는 영향을 명확히 하는 것.

제안 방법

• 필리포프의 미분 포함 접근법을 사용하여 초평면 $\mathcal{H} = \{x_N = 0\}$에서 허용 가능한 궤적을 정의하며, 양측 반공간의 역학의 볼록 조합을 허용한다.
• 제어 $a = (\alpha_1, \alpha_2, \mu)$를 갖는 하이브리드 제어 구조를 $\mathcal{H}$에서 도입하며, $\mu \in [0,1]$은 $\Omega_1$과 $\Omega_2$의 역학을 혼합하는 데 기여한다.
• 두 개의 가치 함수를 정의한다: 특이 역학을 금지할 경우의 최대 해인 $\mathbf{U}^+$와 모든 전략(포함해 특이 역학)을 허용할 경우의 최소 초해석인 $\mathbf{U}^-$.
• 반경 $\Omega_1$과 $\Omega_2$에서의 허문-자코비 방정식의 결합된 시스템에 점성 해법 이론을 적용하며, 인터페이스 조건으로 $\min\{H_1, H_2\} \leq 0$ 및 $\max\{H_1, H_2\} \geq 0$을 $\mathcal{H}$에서 설정한다.
• 소멸하는 점성 및 근사 방법을 사용하여 해가 $\mathbf{U}^+$로 수렴함을 증명하며, 특이 역학이 배제된 조건에서 $\mathbf{U}^+$가 유일한 해임을 입증한다.
• 반완전한 극한 기법과 비교 원리를 활용하여, 근사 해의 균일 수렴을 증명하며, 이는 최대 해 $\mathbf{U}^+$로의 수렴을 확인한다.

실험 결과

연구 질문

• RQ1 역학과 보상 비용이 $\mathbb{R}^N$의 초평면을 기준으로 비연속일 경우 가치 함수는 어떻게 정의되어야 하는가?
• RQ2 비연속적인 역학이 존재할 경우 가치 함수가 만족해야 할 올바른 벨만 방정식과 인터페이스 조건은 무엇인가?
• RQ3 왜 일반적으로 벨만 방정식이 유일한 해를 가지지 못하며, 이러한 비유일성의 원인은 무엇인가?
• RQ4 최소 초해석과 최대 하위해석은 잘 정의된 제어 문제의 가치 함수로 특징지어질 수 있는가?
• RQ5 어떤 조건에서 가치 함수가 유일하게 특징지어지며, 특이 역학은 이러한 특징화에 어떤 역할을 하는가?

주요 결과

• 특이 역학—양측에서 법선 속도의 부호가 반대인 경우로 정의됨—이 제외된 경우, 벨만 시스템의 최대 해 $\mathbf{U}^+$는 유일한 가치 함수이다.
• 최소 초해석 $\mathbf{U}^-$는 모든 전략(특이 역학 포함)이 허용되는 경우의 가치 함수에 해당한다.
• 벨만 시스템의 해의 비유일성은 특이 역학이 표준 인터페이스 조건에 포함되지 않기 때문에 발생한다.
• 값 함수 $\mathbf{U}^+$는 특정 스케일링 영역을 갖는 소멸하는 점성 근사의 해의 균일한 극한으로 특징지어진다.
• 일차원 경우, $\lambda > 1$일 때 $\mathbf{U}^+(x) = |x|/\lambda + 1/\lambda^2$이며, $\lambda < 1$일 때도 해는 여전히 볼록하여 근사에 대해 안정적임을 보장한다.
• 점성 근사의 해의 반완전한 극한은 $\mathbf{U}^+$로 균일 수렴하며, 이는 특이 역학이 배제된 조건에서 $\mathbf{U}^+$가 유일한 해임을 확인한다.