[論文レビュー] Explicit Mean-Square Error Bounds for Monte-Carlo and Linear Stochastic Approximation

Shuhang Chen, Adithya M. Devraj+2 more|arXiv (Cornell University)|Feb 7, 2020

Markov Chains and Monte Carlo Methods参考文献 37被引用数 12

ひとこと要約

本稿は、強化学習（RL）およびマーカフチェーン・モンテカルロ法（MCMC）で一般的に見られるマルコフ過程ノイズ下での確率的近似（SA）アルゴリズムに対して、明示的な平均二乗誤差バウンドを確立する。これにより、パラメータ推定の共分散が最適な $O(1/n)$ 速度で収束することを証明し、正確な定数を伴う。さらに、2階のリャプノフ方程式とポアソン方程式を用いて $O(n^{-2})$ 項を含む高次展開を導出し、固定反復回数制約下での有限時間性能最適化に向けた正確なゲイン系列設計を可能にする。

ABSTRACT

This paper concerns error bounds for recursive equations subject to Markovian disturbances. Motivating examples abound within the fields of Markov chain Monte Carlo (MCMC) and Reinforcement Learning (RL), and many of these algorithms can be interpreted as special cases of stochastic approximation (SA). It is argued that it is not possible in general to obtain a Hoeffding bound on the error sequence, even when the underlying Markov chain is reversible and geometrically ergodic, such as the M/M/1 queue. This is motivation for the focus on mean square error bounds for parameter estimates. It is shown that mean square error achieves the optimal rate of $O(1/n)$, subject to conditions on the step-size sequence. Moreover, the exact constants in the rate are obtained, which is of great value in algorithm design.

研究の動機と目的

• マルコフ過程ノイズ下での確率的近似（SA）アルゴリズムに対して、有限 $n$ における平均二乗誤差バウンドを確立すること。これは、強化学習（RL）およびマーカフチェーン・モンテカルロ法（MCMC）で一般的に見られる。
• 中心極限定理（CLT）が純粋に漸近的でないことを示すために、パラメータ推定の共分散に対する明示的誤差バウンドと正確な定数を導出すること。
• 2階のリャプノフ方程式と2階のポアソン方程式を解くことにより、$O(1/n)$ 速度を $O(n^{-2})$ に精緻化し、固定反復回数制約下での正確なアルゴリズム設計を可能にすること。
• Hoeffding型バウンドが、マルコフ過程ノイズ下のSAに対して一般に成立しないことを示し、平均二乗誤差に焦点を当てる正当性を裏付ける。

提案手法

• 分析は、線形化されたSA再帰式 $\widetilde{\theta}_{n+1} = \widetilde{\theta}_n + \alpha_{n+1}(A\widetilde{\theta}_n + \Delta_{n+1})$ に集中しており、ここで $A = \partial\bar{f}(\theta^*)$ かつ $\Delta_n = f(\theta^*, \Phi_n)$ である。
• 漸近的共分散 $\Sigma_\theta$ は、リャプノフ方程式 $(\frac{1}{2}I + A)\Sigma + \Sigma(\frac{1}{2}I + A)^T + \Sigma_\Delta = 0$ の一意解として導出され、$\Sigma_\Delta$ は $\Delta_n$ の漸近的共分散である。
• 2階の誤差展開は、2階のリャプノフ方程式と2階のポアソン方程式を解くことで得られ、共分散展開における $n^{-2}$ 項が得られる： $\text{Cov}(\theta_n) = n^{-1}\Sigma_\theta + n^{-2}\Sigma_{\theta,2} + O(n^{-2-\delta})$。
• 本手法は、誤差を4つの成分 $\mathcal{E}_n^{(1)}$ から $\mathcal{E}_n^{(4)}$ に分解し、一般のステップサイズ系列 $\alpha_n \sim n^{-\varrho}$ の下で再帰的不等式と積の推定を用いてバウンドを導出する。
• 分析により、$\limsup_{n\to\infty} n^{\varrho} \|\mathcal{E}_n^{(i)}\|_T < \infty$（$i=1,\dots,4$）が成立し、$\varrho < \varrho_0 \leq 1$ であるため、各誤差成分の収束速度が保証される。
• マルティングール差分成分 $\mathcal{E}_n^{(1)}$ は、$\|\Delta_n^{\mathcal{A}}\|_T$ を含む再帰的不等式を用いてバウンドされ、$\|\mathcal{E}_n^{(1)}\|_T^2 = O(n^{-2\varrho})$ または $O(n^{-2})$ となる。これは、全体の収束速度を決定する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ過程ノイズ下での確率的近似に対して、Hoeffding型バウンドが成立しない場合でも、明示的な平均二乗誤差バウンドを導出可能か？
• RQ2 パラメータ推定の共分散の収束速度の正確な率は何か？ また、$O(1/n)$ 項における定数は明示的に計算可能か？
• RQ3 平均二乗誤差展開における高次項はどのように特徴づけられるか？ 2階のリャプノフ方程式およびポアソン方程式は、この精緻化において果たす役割は何か？
• RQ4 ステップサイズ系列 $\alpha_n$ の選択は、確率的近似アルゴリズムの有限 $n$ 時間性能にどのように影響するか？
• RQ5 導出された誤差バウンドは、固定反復回数下で平均二乗誤差を最小化する最適ゲイン系列の設計に利用可能か？

主な発見

• 確率的近似のパラメータ推定の平均二乗誤差は、最適な $O(1/n)$ 速度で収束し、正確な定数 $\Sigma_\theta$ はリャプノフ方程式から導出される。
• 本稿は、精緻化された誤差バウンドを確立する： $\text{Cov}(\theta_n) = n^{-1}\Sigma_\theta + n^{-2}\Sigma_{\theta,2} + O(n^{-2-\delta})$。ここで $\Sigma_{\theta,2}$ は2階のリャプノフ方程式と2階のポアソン方程式を用いて明示的に計算される。
• 誤差成分の収束速度が $O(n^{-\varrho})$（$\varrho < \varrho_0 \leq 1$）であることが示され、$\varrho_0$ はマルコフ連鎖および行列 $A$ の固有値特性に依存する。
• 分析により、Hoeffding型バウンドが、マルコフ過程ノイズ下のSAに対して一般に成立しないことが証明された。これは、逆可換かつ幾何的定常性を満たす連鎖（例：M/M/1キュー）に対しても同様に成り立つ。
• マルティングール差分成分 $\mathcal{E}_n^{(1)}$ のバウンドは、$\varrho$ に応じて $O(n^{-2\varrho})$ または $O(n^{-2})$ となる。収束速度はステップサイズの指数に依存する。
• 本研究の結果は、有限時間設定における最適ゲイン系列設計のフレームワークを提供する。具体的には、誤差展開における $n^{-2}$ 項を最小化することで実現可能であり、強化学習およびMCMCアルゴリズムに直接応用可能である。