[论文解读] Markovian Foundations for Quasi-Stochastic Approximation with Applications to Extremum Seeking Control

Caio Kalil Lauand, Sean Meyn|arXiv (Cornell University)|Jul 13, 2022

Extremum Seeking Control Systems被引用 5

一句话总结

本文提出了一种马尔可夫框架用于准随机逼近（QSA），以在根求解问题中提升收敛性和误差界，特别是在极值搜索控制（ESC）中。通过利用泊松方程和时间平均向量场，该框架建立了动力学的精确摄动表示，使得在利普希茨条件下，ESC 的偏差为 $O(\alpha^2)$，方差为 $O(\alpha^4)$，显著优于标准的 $O(\alpha)$ 误差界。

ABSTRACT

This paper concerns quasi-stochastic approximation (QSA) to solve root finding problems commonly found in applications to optimization and reinforcement learning. The general constant gain algorithm may be expressed as the time-inhomogeneous ODE $ \frac{d}{dt}Θ_t=αf_t (Θ_t)$, with state process $Θ$ evolving on $\mathbb{R}^d$. Theory is based on an almost periodic vector field, so that in particular the time average of $f_t(θ)$ defines the time-homogeneous mean vector field $\bar{f} \colon \mathbb{R}^d o \mathbb{R}^d$ with $\bar{f}(θ^*)=0$. Under smoothness assumptions on the functions involved, the following exact representation is obtained: \[\frac{d}{dt}Θ_t=α[\bar{f}(Θ_t)-α\barΥ_t+α^2\mathcal{W}_t^0+α\frac{d}{dt}\mathcal{W}_t^1+\frac{d^2}{dt^2}\mathcal{W}_t^2]\] along with formulae for the smooth signals $\{\bar Υ_t , \mathcal{W}_t^i : i=0, 1, 2\}$. This new representation, combined with new conditions for ultimate boundedness, has many applications for furthering the theory of QSA and its applications, including the following implications that are developed in this paper: (i) A proof that the estimation error $\|Θ_t-θ^*\|$ is of order $O(α)$, but can be reduced to $O(α^2)$ using a second order linear filter. (ii) In application to extremum seeking control, it is found that the results do not apply because the standard algorithms are not Lipschitz continuous. A new approach is presented to ensure that the required Lipschitz bounds hold, and from this we obtain stability, transient bounds, and asymptotic bias of order $O(α^2)$, and asymptotic variance of order $O(α^4)$. (iii) It is in general possible to obtain better than $O(α)$ bounds on error in traditional stochastic approximation when there is Markovian noise.

研究动机与目标

• 为在时变非齐次、近乎周期性向量场下，优化与强化学习中的准随机逼近（QSA）建立严格的马尔可夫基础。
• 利用泊松方程和时间平均向量场，推导 QSA 动力学的精确摄动表示，以实现精确的误差分析。
• 通过确保算法的利普希茨连续性，建立改进的误差界——具体而言，在极值搜索控制（ESC）中实现 $O(\alpha^2)$ 偏差和 $O(\alpha^4)$ 方差。
• 通过引入二阶线性滤波器并证明瞬态与渐近稳定性，解决标准 ESC 算法的不稳定性和收敛率低下问题。
• 将 QSA 理论扩展至马尔可夫噪声设置，表明在光滑性与遍历性假设下，可实现优于 $O(\alpha)$ 的误差界。

提出的方法

• 本文将 QSA 过程建模为时变非齐次的 ODE $\dot{\Theta}_t = \alpha f_t(\Theta_t)$，其中 $f_t$ 为近乎周期函数，从而可通过时间平均定义平均向量场 $\bar{f}$。
• 借助马尔可夫过程技术，特别是泊松方程，作者推导出精确表示：$\dot{\Theta}_t = \alpha[\bar{f}(\Theta_t) - \alpha\bar{\upsilon}_t + \alpha^2 \mathcal{W}_t^0 + \alpha \frac{d}{dt}\mathcal{W}_t^1 + \frac{d^2}{dt^2}\mathcal{W}_t^2]$，其中 $\bar{\upsilon}_t, \mathcal{W}_t^i$ 为光滑信号。
• 该方法引入二阶线性滤波器，将估计误差从 $O(\alpha)$ 降低至 $O(\alpha^2)$，从而提升收敛精度。
• 在极值搜索控制中，该框架确保探测信号的利普希茨连续性，这对稳定性与误差界推导至关重要。
• 分析利用几何遍历性与 ODE@∞ 稳定性理论，推导出均方误差的瞬态与稳态界。
• 通过在 Rastrigin 函数与“行走骆驼”优化问题上的应用，验证了该框架，展示了其在收敛性与偏差控制方面的改进。

实验结果

研究问题

• RQ1 能否为在时变非齐次、近乎周期性向量场下分析准随机逼近（QSA）建立一个马尔可夫框架？
• RQ2 当时间变向量场为近乎周期性时，QSA 动力学的精确摄动表示是什么？该表示如何改进误差分析？
• RQ3 能否通过滤波与利普希茨连续性，将极值搜索控制中的估计误差从 $O(\alpha)$ 降低至 $O(\alpha^2)$？
• RQ4 在马尔可夫噪声下，ESC 的渐近偏差与方差界是什么？与标准随机逼近相比有何差异？
• RQ5 在马尔可夫噪声下，QSA 实现 $O(\alpha^2)$ 偏差与 $O(\alpha^4)$ 方差的条件是什么？相较于经典结果有何改进？

主要发现

• 标准 QSA 中的估计误差 $\|\Theta_t - \theta^*\|$ 为 $O(\alpha)$，但通过引入二阶线性滤波器可降低至 $O(\alpha^2)$。
• 在极值搜索控制中，本文证明了渐近偏差为 $O(\alpha^2)$，渐近方差为 $O(\alpha^4)$，显著优于标准的 $O(\alpha)$ 误差界。
• 该框架表明，ODE@∞ 稳定性条件蕴含几何遍历性，从而导致 $O(\varrho^n)$ 的瞬态衰减与 $O(\alpha)$ 量级的稳态误差。
• 通过确保探测信号的利普希茨连续性，本文解决了标准 ESC 算法中的一个关键局限，实现了严格的稳定性与误差分析。
• 通过泊松方程实现的精确摄动表示，可将动力学精确分解为均值、漂移与高阶校正项，从而实现更紧致的误差界。
• 该方法在非凸优化问题（如 Rastrigin 函数与“行走骆驼”问题）上得到验证，展示了在恒定增益设置下收敛性提升与偏差降低。