[논문 리뷰] A uniform Tauberian theorem in optimal control

Miquel Oliu‐Barton, Guillaume Vigeral|arXiv (Cornell University)|2010. 04. 23.

Stability and Controllability of Differential Equations인용 수 5

한 줄 요약

이 논문은 비ergodic성 가정 없이 연속시간 최적제어에서 통일된 타우버리안 정리를 수립하며, 유한한 수명 주기 가치 함수 $V_T(x)$ 가 $T \to \infty$ 일 때 균일 수렴하는 것과 할인 가치 함수 $V_\lambda(x)$ 가 $\lambda \to 0$ 일 때 균일 수렴하는 것이 동치임을 증명한다. 이는 동일한 극한을 가진다. 이 결과는 고전적인 하디-리틀우드 및 펠러 타우버리안 정리를 비ergodic성 조건 없이 제어 동역학에까지 확장하며, 이는 이산시간 근사와 등가성 논증을 사용한다.

ABSTRACT

In an optimal control framework, we consider the value $V_T(x)$ of the problem starting from state $x$ with finite horizon $T$, as well as the value $V_λ(x)$ of the $λ$-discounted problem starting from $x$. We prove that uniform convergence (on the set of states) of the values $V_T(\cdot)$ as $T$ tends to infinity is equivalent to uniform convergence of the values $V_λ(\cdot)$ as $λ$ tends to 0, and that the limits are identical. An example is also provided to show that the result does not hold for pointwise convergence. This work is an extension, using similar techniques, of a related result in a discrete-time framework \cite{LehSys}.

연구 동기 및 목표

• 비ergodic성 가정 없이 연속시간 최적제어 문제에 대해 통일된 타우버리안 정리를 수립하기.
• 유한수명 주기 가치 함수의 균일 수렴이 할인 가치 함수의 균일 수렴을 유도하는지, 그 반대의 경우도 마찬가지인지에 대한 열린 문제를 해결하기.
• 유한수명 주기 가치 함수 $V_T(x)$ 와 $V_\lambda(x)$ 의 극한이 균일 수렴할 경우 동일하다는 것을 보여주기.
• 레르러와 소린(Lehrер와 Sorin, 2012)의 이산시간 결과를 연속시간 제어 동역학으로 확장하기.

제안 방법

• 상태 공간 $\widetilde{\Omega} = \Omega \times [0,1]$ 과 비용 함수 $\widetilde{g}(\omega,x) = x$ 를 가진 이산시간 동적계획문제를 구성하기.
• 연속시간 시스템의 궤적을 단위 간격 동안 인코딩하는 다중값 전이 맵 $\widetilde{\Gamma}$ 를 정의하기.
• 레르러와 소린(Lehrer와 Sorin, 2012)의 이산시간 통일된 타우버리안 수렴 결과를 구성된 이산 시스템에 적용하기.
• 연속시간 가치 함수 $V_t(\omega)$ 와 이산시간 가치 함수 $v_n(\omega,x)$ 사이의 균일한 경계를 확립하여, $|V_t(\omega) - v_{\lfloor t \rfloor}(\omega,x)| \leq \frac{2}{\lfloor t \rfloor}$ 를 보여주기.
• 적분 경계 $\lambda \int_0^\infty |(1-\lambda)^{\lfloor t \rfloor} - e^{-\lambda t}| dt \to 0$ 를 사용하여 $\lambda \to 0$ 일 때 $|V_\lambda(\omega) - v_\lambda(\omega,x)|$ 가 0으로 균일 수렴함을 증명하기.
• 이산시간에서의 수렴 등가성을 활용하여 연속시간에서의 균일 등가성을 유도하기.

실험 결과

연구 질문

• RQ1 유한수명 주기 가치 함수 $V_T(x)$ 가 $T \to \infty$ 일 때 균일 수렴하면, 할인 가치 함수 $V_\lambda(x)$ 가 $\lambda \to 0$ 일 때 균일 수렴하는가?
• RQ2 역으로, $V_\lambda(x)$ 가 균일 수렴하면 $V_T(x)$ 도 균일 수렴하는가?
• RQ3 유한수명 주기 가치 함수 $V_T(x)$ 와 할인 가치 함수 $V_\lambda(x)$ 가 균일 수렴할 경우, 그 극한이 동일한가?
• RQ4 고전적인 하디-리틀우드 및 펠러 타우버리안 정리는 비ergodic성 조건 없이 제어되는 연속시간 시스템으로 확장 가능한가?
• RQ5 유한수명 주기 수렴과 할인 수렴 간의 등가성은 비ergodic성 동역학에 대해서도 강인한가?

주요 결과

• 유한수명 주기 가치 함수 $V_T(\cdot)$ 가 $T \to \infty$ 일 때 균일 수렴하는 것과 할인 가치 함수 $V_\lambda(\cdot)$ 가 $\lambda \to 0$ 일 때 균일 수렴하는 것은 동치이다.
• 유한수명 주기 가치 함수 $V_T(\cdot)$ 와 할인 가치 함수 $V_\lambda(\cdot)$ 가 균일 수렴할 경우, 그 극한은 동일하다.
• 시스템의 ergodic성 또는 제어 가능성 조건을 가정하지 않아도 등가성이 성립한다.
• $\lambda \to 0$ 일 때 $\omega$ 와 $x$ 에 대해 균일하게 $|V_\lambda(\omega) - v_\lambda(\omega,x)|$ 가 0으로 수렴함을 보여주며, 이는 경계 $\lambda \int_0^\infty |(1-\lambda)^{\lfloor t \rfloor} - e^{-\lambda t}| dt \to 0$ 에 기인한다.
• 레르러와 소린(Lehrer와 Sorin, 2012)의 이산시간 통일된 타우버리안 정리를 연속시간 최적제어로 확장한다.
• 등가성이 점별 수렴에서는 성립하지 않는다는 예시를 제시하여, 균일 수렴의 필요성을 강조한다.