[논문 리뷰] On the existence of a limit value in some non expansive optimal control problems

Marc Quincampoix, Jérôme Renault|Toulouse 1 Capitole Publications (Université Toulouse I Capitole)|2009. 04. 23.

Optimization and Variational Analysis참고 문헌 3인용 수 5

한 줄 요약

이 논문은 초기 상태에 의존할 수 있는 극한 값이 존재하는 무한 시간 할당 최적 제어 문제에서, 비팽창성 유사 조건 하에서도 극한 값의 존재성을 확립한다. 균일 값 개념을 도입하고 재귀적 제어 연결 기법을 사용하여, 유한 시간 할당에서의 근사 최적 제어가 장기적으로도 효과를 유지함을 증명하며, 이는 이전 결과에서 요구하던 소산성 또는 불변성 조건을 필요로 하지 않는다.

ABSTRACT

We investigate a limit value of an optimal control problem when the horizon converges to infinity. For this aim, we suppose suitable nonexpansive-like assumptions which does not imply that the limit is independent of the initial state as it is usually done in the literature.

연구 동기 및 목표

• 무한 시간 할당 최적 제어 문제의 가치 함수가 초기 상태에 의존할 수 있는 극한으로 수렴할 수 있는 조건을 확립하는 것.
• 극한이 초기 조건에 대해 독립적이지 않은 비팽창성 시스템에 대해 균일 값 개념을 일반화하는 것.
• 강도 조건이나 소산성 조건을 요구하지 않는 극한 값의 존재성에 대한 일반적 결과를 제공하는 것.
• 극한이 초기 상태에 의존할 경우에도, 유한 시간 할당에서의 근사 최적 제어가 장기적으로 근사적으로 최적이 되는 것을 보여주는 것.
• 기존의 에르고딕 제어 및 하미르톤-자코비 방정식 결과를, 새로운 재귀적 제어 구성 기법을 통해 비강도적, 비소산성 설정으로 일반화하는 것.

제안 방법

• 역동성에 대한 비팽창성 조건을 도입: 모든 $y_1, y_2$에 대해 $\sup_{u\in U}\inf_{v\in U}\langle y_1 - y_2, g(y_1,u) - g(y_2,v) \rangle \leq 0$ 이며, 이는 전진 불변 컴act 집합 $N$ 내에서 성립한다.
• 제어의 재귀적 연결을 사용: 길이 $m_i$와 $n_i$인 간격에서 제어 $u^i$의 시퀀스를 조합하여 제어 $u$를 구성하며, 여기서 $n_i \gg m_{i+1}$이다.
• 리아푸노프 유형의 추론을 사용하여 각 $n_i$-간격의 끝에서 가치가 최대 $\alpha / 2^i$ 감소함을 보여, 가치 함수의 수렴을 확보한다.
• 텔레스코프 합 추론을 적용하여 장기 시간 할당에서 평균 비용을 바ounds하며, $\gamma_T(z,u) \leq v^* + 2\alpha + m_1/T$ 를 도출하여 $T \to \infty$ 일 때 $v^* + 2\alpha$로 수렴함을 보인다.
• 모든 충분히 큰 $t$에 대해 $\varepsilon$-최적이 되는 제어가 존재함을 보여, 균일 값의 존재를 증명한다.
• 각 단계에서 요구되는 비용 바OUNDS를 만족하는 제어의 존재를 보장하기 위해 가측 선택 및 컴팩트니스 추론을 활용한다.

실험 결과

연구 질문

• RQ1 무한 시간 할당 평균 비용이 초기 상태에 의존하는 극한으로 수렴하는 조건은 무엇인가?
• RQ2 극한이 초기 조건에 대해 독립적이지 않은 비팽창성 시스템에서 균일 값이 존재할 수 있는가?
• RQ3 극한 값이 초기 상태에 의존할 경우에도, 모든 장기 시간 할당에서 근사적으로 최적이 되는 단일 제어 전략을 구성할 수 있는가?
• RQ4 비강도 역동성 하에서, 유한 시간 할당 문제의 근사 최적 제어가 장기적으로도 효과를 유지할 수 있도록 보장하는 방법은 무엇인가?
• RQ5 소산성 조건을 요구하지 않고도 극한 값의 존재를 보장하기 위해 동역학 및 비용 함수에 필요한 구조적 가정은 무엇인가?

주요 결과

• 비팽창성 조건 $\sup_{u,v} \langle y_1 - y_2, g(y_1,u) - g(y_2,v) \rangle \leq 0$ 이 전진 불변 컴팩트 집합에서 성립할 경우, 모든 $y_0$에 대해 극한 값 $V(y_0) = \lim_{t \to \infty} V_t(y_0)$ 이 존재한다.
• 균일 값이 존재한다: 임의의 $\varepsilon > 0$에 대해, 제어 $u$와 시간 $t_0$가 존재하여 모든 $t \geq t_0$에 대해 평균 비용이 극한 값 $V(y_0)$로부터 $\varepsilon$ 이내에 있다.
• 극한 값의 존재는 해밀토니안이 강도적이거나 시스템이 소산적이지 않아도 되므로, 전통적인 에르고딕 제어 설정을 초월한다.
• 제시된 비팽창성 및 불변성 가정 하에서 상태 공간의 컴팩트 부분집합에서 가치 함수는 균일하게 수렴한다.
• 제어의 재귀적 연결은 장기적인 $T$에 대해 평균 비용이 $v^* + 2\alpha$ 이내로 유한하게 유지됨을 보여, 극한 값으로의 수렴을 증명한다.
• 예제 2–4에서 보듯이, $h$가 연속이고 $g$가 리프시츠일 경우에도 결과는 극한이 초기 상태에 의존할 수 있는 경우로 일반화된다.