[논문 리뷰] Markovian Foundations for Quasi-Stochastic Approximation with Applications to Extremum Seeking Control

Caio Kalil Lauand, Sean Meyn|arXiv (Cornell University)|2022. 07. 13.

Extremum Seeking Control Systems인용 수 5

한 줄 요약

이 논문은 근 찾기 문제, 특히 극값 탐색 제어(ESC)에서 수렴성과 오차 한계를 향상시키기 위해 준확률적 근사(QSA)에 대한 마코프 프레임워크를 개발한다. 포아송 방정식과 시간 평균 벡터장의 활용을 통해 역동성을 정확한 섭동 표현으로 나타내어, 리프시츠 조건 하에서 ESC에서 $O(\alpha^2)$ 편향과 $O(\alpha^4)$ 분산을 달성하며, 기존의 $O(\alpha)$ 오차 한계에 비해 크게 향상시킨다.

ABSTRACT

This paper concerns quasi-stochastic approximation (QSA) to solve root finding problems commonly found in applications to optimization and reinforcement learning. The general constant gain algorithm may be expressed as the time-inhomogeneous ODE $ \frac{d}{dt}Θ_t=αf_t (Θ_t)$, with state process $Θ$ evolving on $\mathbb{R}^d$. Theory is based on an almost periodic vector field, so that in particular the time average of $f_t(θ)$ defines the time-homogeneous mean vector field $\bar{f} \colon \mathbb{R}^d o \mathbb{R}^d$ with $\bar{f}(θ^*)=0$. Under smoothness assumptions on the functions involved, the following exact representation is obtained: \[\frac{d}{dt}Θ_t=α[\bar{f}(Θ_t)-α\barΥ_t+α^2\mathcal{W}_t^0+α\frac{d}{dt}\mathcal{W}_t^1+\frac{d^2}{dt^2}\mathcal{W}_t^2]\] along with formulae for the smooth signals $\{\bar Υ_t , \mathcal{W}_t^i : i=0, 1, 2\}$. This new representation, combined with new conditions for ultimate boundedness, has many applications for furthering the theory of QSA and its applications, including the following implications that are developed in this paper: (i) A proof that the estimation error $\|Θ_t-θ^*\|$ is of order $O(α)$, but can be reduced to $O(α^2)$ using a second order linear filter. (ii) In application to extremum seeking control, it is found that the results do not apply because the standard algorithms are not Lipschitz continuous. A new approach is presented to ensure that the required Lipschitz bounds hold, and from this we obtain stability, transient bounds, and asymptotic bias of order $O(α^2)$, and asymptotic variance of order $O(α^4)$. (iii) It is in general possible to obtain better than $O(α)$ bounds on error in traditional stochastic approximation when there is Markovian noise.

연구 동기 및 목표

• 시간 비균일성과 거의 주기적인 벡터장 하에서 최적화 및 강화 학습 분야에 대해 준확률적 근사(QSA)에 대한 엄밀한 마코프 기반 이론을 수립하기 위해.
• 포아송 방정식과 시간 평균 벡터장을 활용하여 QSA 역동성의 정확한 섭동 표현을 유도하고, 정밀한 오차 분석을 가능하게 하기 위해.
• 알고리즘의 리프시츠 연속성을 확보함으로써, 극값 탐색 제어(ESC)에 대해 향상된 오차 한계—특히 $O(\alpha^2)$ 편향과 $O(\alpha^4)$ 분산—를 확립하기 위해.
• 두 번째 차수 선형 필터를 도입하여 표준 ESC 알고리즘의 불안정성과 낮은 수렴 속도 문제를 해결하고, 일시적 및 점근적 안정성을 증명하기 위해.
• 마코프 노이즈 설정으로 QSA 이론을 확장하여, 부드러움과 에르고딕성 조건 하에서 $O(\alpha)$를 초월하는 오차 한계가 달성 가능함을 보여주기 위해.

제안 방법

• 논문은 QSA 과정을 시간 비균일성 ODE $\dot{\Theta}_t = \alpha f_t(\Theta_t)$로 모델링하며, $f_t$는 거의 주기적일 수 있도록 하여 시간 평균화를 통해 평균 벡터장 $\bar{f}$ 를 정의한다.
• 마코프 과정 이론, 특히 포아송 방정식 기법을 활용하여 정확한 표현을 도출한다: $\dot{\Theta}_t = \alpha[\bar{f}(\Theta_t) - \alpha\bar{\upsilon}_t + \alpha^2 \mathcal{W}_t^0 + \alpha \frac{d}{dt}\mathcal{W}_t^1 + \frac{d^2}{dt^2}\mathcal{W}_t^2]$로, 여기서 $\bar{\upsilon}_t, \mathcal{W}_t^i$ 는 부드러운 신호이다.
• 추정 오차를 $O(\alpha)$ 에서 $O(\alpha^2)$ 로 감소시키기 위해 두 번째 차수 선형 필터를 도입함으로써 수렴 정밀도를 향상시킨다.
• 극값 탐색 제어에 적용할 경우, 이 프레임워크는 탐색 신호의 리프시츠 연속성을 보장하여 안정성과 오차 한계 유도에 필수적인 조건을 충족시킨다.
• 기하학적 에르고딕성과 ODE@∞ 안정성 이론을 활용하여 평균 제곱 오차의 일시적 및 정적 안정성 한계를 도출한다.
• 이 프레임워크는 라스트리진 함수와 '걷는 낙타' 최적화 문제에 적용되어 수렴성 향상과 편향 제어가 잘 이루어지는 것을 보여주며 검증된다.

실험 결과

연구 질문

• RQ1 시간 비균일성과 거의 주기적인 벡터장 하에서 준확률적 근사(QSA)를 분석하기 위한 마코프 프레임워크를 개발할 수 있는가?
• RQ2 시간에 따라 변하는 벡터장이 거의 주기적일 경우, QSA 역동성의 정확한 섭동 표현은 무엇이며, 이는 오차 분석을 어떻게 향상시키는가?
• RQ3 필터링과 리프시츠 연속성 조건을 통해 극값 탐색 제어에서 추정 오차를 $O(\alpha)$ 에서 $O(\alpha^2)$ 로 줄일 수 있는가?
• RQ4 마코프 노이즈 하에서 ESC의 점근적 편향과 분산 한계는 무엇이며, 기존의 확률적 근사와 비교해 볼 때 어떻게 다른가?
• RQ5 마코프 노이즈 하에서 QSA에 대해 $O(\alpha^2)$ 편향과 $O(\alpha^4)$ 분산을 달성할 수 있는 조건는 무엇이며, 이는 고전적 결과에 비해 어떻게 향상되는가?

주요 결과

• 표준 QSA에서 추정 오차 $\|\Theta_t - \theta^*\|$ 는 $O(\alpha)$ 로 나타나지만, 두 번째 차수 선형 필터를 적용함으로써 $O(\alpha^2)$ 로 감소시킬 수 있다.
• 극값 탐색 제어에서 논문은 점근적 편향이 $O(\alpha^2)$ 이고 점근적 분산이 $O(\alpha^4)$ 임을 증명하며, 기존의 $O(\alpha)$ 한계에 비해 크게 향상됨을 보여준다.
• 프레임워크는 ODE@∞ 안정성 조건이 기하학적 에르고딕성을 유도함을 보여주며, 이는 $O(\varrho^n)$ 의 일시적 감쇠와 $O(\alpha)$ 수준의 정적 오차를 초래한다.
• 탐색 신호의 리프시츠 연속성을 확보함으로써, 표준 ESC 알고리즘의 핵심 한계를 해결하고 엄밀한 안정성 및 오차 분석이 가능해진다.
• 포아송 방정식을 통한 정확한 섭동 표현은 역동성을 평균, 드리프트, 고차항 보정 항으로 정밀하게 분해할 수 있게 하여 더 엄밀한 오차 한계를 도출한다.
• 비볼록 최적화 문제인 라스트리진 함수와 '걷는 낙타' 문제에 대해 적용된 결과는 일정 보상 설정 하에서 수렴성 향상과 편향 감소를 잘 보여준다.