[論文レビュー] Markovian Foundations for Quasi-Stochastic Approximation with Applications to Extremum Seeking Control

Caio Kalil Lauand, Sean Meyn|arXiv (Cornell University)|Jul 13, 2022

Extremum Seeking Control Systems被引用数 5

ひとこと要約

本稿は、極値探索制御（ESC）において収束性と誤差境界を向上させるために、準確率的近似（QSA）のためのマルコフ型フレームワークを開発する。ポisson方程式と時間平均化されたベクトル場を活用することで、動的挙動の正確な摂動表現を確立し、リプシッツ連続性の条件下でESCにおいて $O(\alpha^2)$ のバイアスと $O(\alpha^4)$ の分散を達成する。これは標準的な $O(\alpha)$ の誤差境界と比較して顕著に改善されたものである。

ABSTRACT

This paper concerns quasi-stochastic approximation (QSA) to solve root finding problems commonly found in applications to optimization and reinforcement learning. The general constant gain algorithm may be expressed as the time-inhomogeneous ODE $ \frac{d}{dt}Θ_t=αf_t (Θ_t)$, with state process $Θ$ evolving on $\mathbb{R}^d$. Theory is based on an almost periodic vector field, so that in particular the time average of $f_t(θ)$ defines the time-homogeneous mean vector field $\bar{f} \colon \mathbb{R}^d o \mathbb{R}^d$ with $\bar{f}(θ^*)=0$. Under smoothness assumptions on the functions involved, the following exact representation is obtained: \[\frac{d}{dt}Θ_t=α[\bar{f}(Θ_t)-α\barΥ_t+α^2\mathcal{W}_t^0+α\frac{d}{dt}\mathcal{W}_t^1+\frac{d^2}{dt^2}\mathcal{W}_t^2]\] along with formulae for the smooth signals $\{\bar Υ_t , \mathcal{W}_t^i : i=0, 1, 2\}$. This new representation, combined with new conditions for ultimate boundedness, has many applications for furthering the theory of QSA and its applications, including the following implications that are developed in this paper: (i) A proof that the estimation error $\|Θ_t-θ^*\|$ is of order $O(α)$, but can be reduced to $O(α^2)$ using a second order linear filter. (ii) In application to extremum seeking control, it is found that the results do not apply because the standard algorithms are not Lipschitz continuous. A new approach is presented to ensure that the required Lipschitz bounds hold, and from this we obtain stability, transient bounds, and asymptotic bias of order $O(α^2)$, and asymptotic variance of order $O(α^4)$. (iii) It is in general possible to obtain better than $O(α)$ bounds on error in traditional stochastic approximation when there is Markovian noise.

研究の動機と目的

• 時間非定常かつほぼ周期的ベクトル場の下で、最適化および強化学習における準確率的近似（QSA）の厳密なマルコフ型基盤を構築すること。
• ポアソン方程式と時間平均化ベクトル場を用いて、QSAの動的挙動の正確な摂動表現を導出することにより、誤差解析を精密化すること。
• アルゴリズムのリプシッツ連続性を保証することで、極値探索制御（ESC）における改善された誤差境界（具体的には $O(\alpha^2)$ バイアスと $O(\alpha^4)$ 分散）を確立すること。
• 2次元線形フィルタの導入により、標準的なESCアルゴリズムの不安定性と低速収束を解消し、一時的および漸近的安定性を証明すること。
• QSA理論をマルコフ型ノイズ設定に拡張し、滑らかさおよびエルゴード性の仮定の下で、$O(\alpha)$ よりも優れた誤差境界が達成可能であることを示すこと。

提案手法

• 本稿は、QSAプロセスを時間非定常なODE $\dot{\Theta}_t = \alpha f_t(\Theta_t)$ としてモデル化し、$f_t$ がほぼ周期的であることを仮定することで、時間平均化を用いて平均ベクトル場 $\bar{f}$ を定義する。
• マコフ過程の技術、特にポアソン方程式を用いて、次の正確な表現を導出する：$\dot{\Theta}_t = \alpha[\bar{f}(\Theta_t) - \alpha\bar{\upsilon}_t + \alpha^2 \mathcal{W}_t^0 + \alpha \frac{d}{dt}\mathcal{W}_t^1 + \frac{d^2}{dt^2}\mathcal{W}_t^2]$。ここで $\bar{\upsilon}_t, \mathcal{W}_t^i$ は滑らかな信号である。
• 推定誤差を $O(\alpha)$ から $O(\alpha^2)$ に低減するために、2次元線形フィルタを導入する。これにより収束精度が向上する。
• 極値探索制御において、摂動信号のリプシッツ連続性を保証することで、安定性と誤差境界の導出に不可欠な条件を満たす。
• 幾何的エルゴード性と ODE@∞ 安定性理論を活用し、平均二乗誤差の一時的および定常状態の境界を導出する。
• Rastrigin関数および「ウォーキングキャメル」最適化問題への応用を通じて、フレームワークの妥当性を検証し、定常利得設定下で収束性とバイアス制御の向上を示している。

実験結果

リサーチクエスチョン

• RQ1 時間非定常かつほぼ周期的ベクトル場の下で、準確率的近似（QSA）を解析するためのマルコフ型フレームワークを構築可能か？
• RQ2 時間変動するベクトル場がほぼ周期的である場合、QSAの動的挙動の正確な摂動表現は何か？ そして、誤差解析にどのように寄与するか？
• RQ3 フィルタリングとリプシッツ連続性を用いて、極値探索制御における推定誤差を $O(\alpha)$ から $O(\alpha^2)$ に低減可能か？
• RQ4 マルコフ型ノイズ下でのESCにおける漸近的バイアスと分散の境界は何か？ そして、標準的な確率的近似と比較してどう異なるか？
• RQ5 QSAにおけるマルコフ型ノイズ下で、$O(\alpha^2)$ バイアスと $O(\alpha^4)$ 分散を達成する条件は何か？ そして、古典的結果に比べてどのように改善されるか？

主な発見

• 標準的なQSAでは推定誤差 $\|\Theta_t - \theta^*\|$ が $O(\alpha)$ であるが、2次元線形フィルタを用いることで $O(\alpha^2)$ に低減可能であることが示された。
• 極値探索制御において、本稿は漸近的バイアスが $O(\alpha^2)$、漸近的分散が $O(\alpha^4)$ であることを証明しており、標準的な $O(\alpha)$ の境界と比較して顕著に改善されている。
• フレームワークにより、ODE@∞ 安定性条件が幾何的エルゴード性を意味することを確立し、$O(\varrho^n)$ の一時的減衰と定常状態誤差 $O(\alpha)$ を得た。
• 摂動信号のリプシッツ連続性を保証することで、標準的なESCアルゴリズムにおける主要な制限要因を解消し、厳密な安定性と誤差解析を可能にした。
• ポアソン方程式による正確な摂動表現により、動的挙動を平均、ドリフト、および高次補正項に明確に分解可能となり、より厳密な誤差境界の導出が可能になった。
• 非凸最適化問題（Rastrigin関数および「ウォーキングキャメル」）への応用により、定常利得設定下で収束性の向上とバイアス低減が確認された。