[论文解读] Explicit Mean-Square Error Bounds for Monte-Carlo and Linear Stochastic Approximation

Shuhang Chen, Adithya M. Devraj+2 more|arXiv (Cornell University)|Feb 7, 2020

Markov Chains and Monte Carlo Methods参考文献 37被引用 12

一句话总结

本文在马尔可夫噪声下建立了随机逼近（SA）算法的显式均方误差界，证明了参数估计协方差以最优的 $O(1/n)$ 速率收敛，且常数精确。通过求解二阶李雅普诺夫方程和泊松方程，推导出高阶展开，包括 $O(n^{-2})$ 项，从而实现强化学习与MCMC中有限时域性能优化的精确增益序列设计。

ABSTRACT

This paper concerns error bounds for recursive equations subject to Markovian disturbances. Motivating examples abound within the fields of Markov chain Monte Carlo (MCMC) and Reinforcement Learning (RL), and many of these algorithms can be interpreted as special cases of stochastic approximation (SA). It is argued that it is not possible in general to obtain a Hoeffding bound on the error sequence, even when the underlying Markov chain is reversible and geometrically ergodic, such as the M/M/1 queue. This is motivation for the focus on mean square error bounds for parameter estimates. It is shown that mean square error achieves the optimal rate of $O(1/n)$, subject to conditions on the step-size sequence. Moreover, the exact constants in the rate are obtained, which is of great value in algorithm design.

研究动机与目标

• 在强化学习（RL）与马尔可夫链蒙特卡洛（MCMC）中常见的马尔可夫扰动下，建立随机逼近（SA）算法的有限 $n$ 均方误差界。
• 通过推导参数估计协方差的显式误差界（含精确常数），证明中心极限定理（CLT）并非纯粹渐近性质。
• 通过求解二阶李雅普诺夫方程与二阶泊松方程，将 $O(1/n)$ 速率细化至 $O(n^{-2})$，实现在固定迭代预算下的精确算法设计。
• 表明即使对于可逆、几何遍历的马尔可夫链，霍夫丁型界在马尔可夫噪声下通常不成立，从而解释为何聚焦于均方误差。

提出的方法

• 分析聚焦于线性化SA递推关系 $\widetilde{\theta}_{n+1} = \widetilde{\theta}_n + \alpha_{n+1}(A\widetilde{\theta}_n + \Delta_{n+1})$，其中 $A = \partial\bar{f}(\theta^*)$ 且 $\Delta_n = f(\theta^*, \Phi_n)$。
• 渐近协方差 $\Sigma_\theta$ 作为李雅普诺夫方程的唯一解导出：$(\frac{1}{2}I + A)\Sigma + \Sigma(\frac{1}{2}I + A)^T + \Sigma_\Delta = 0$，其中 $\Sigma_\Delta$ 为 $\Delta_n$ 的渐近协方差。
• 通过求解二阶李雅普诺夫方程与二阶泊松方程，推导出二阶误差展开，得到协方差展开中的 $n^{-2}$ 项：$\text{Cov}(\theta_n) = n^{-1}\Sigma_\theta + n^{-2}\Sigma_{\theta,2} + O(n^{-2-\delta})$。
• 该方法将误差分解为四个分量 $\mathcal{E}_n^{(1)}$ 至 $\mathcal{E}_n^{(4)}$，在一般步长序列 $\alpha_n \sim n^{-\varrho}$ 下，通过递推不等式与乘积估计推导其界。
• 分析证明 $\limsup_{n\to\infty} n^{\varrho} \|\mathcal{E}_n^{(i)}\|_T < \infty$ 对 $i=1,\dots,4$ 成立，其中 $\varrho < \varrho_0 \leq 1$，确保各误差分量的收敛速率。
• 通过涉及 $\|\Delta_n^{\mathcal{A}}\|_T$ 的递推不等式，对鞅差分分量 $\mathcal{E}_n^{(1)}$ 进行有界，得出 $\|\mathcal{E}_n^{(1)}\|_T^2 = O(n^{-2\varrho})$ 或 $O(n^{-2})$，具体取决于 $\varrho$，从而决定整体收敛速率。

实验结果

研究问题

• RQ1 能否在霍夫丁型界不成立的情况下，为马尔可夫噪声下的随机逼近推导出显式均方误差界？
• RQ2 参数估计协方差的精确收敛速率为何？$O(1/n)$ 项中的常数能否显式计算？
• RQ3 均方误差展开中的高阶项能否被表征？二阶李雅普诺夫方程与泊松方程在此精炼过程中的作用是什么？
• RQ4 步长序列 $\alpha_n$ 的选择如何影响随机逼近算法的有限 $n$ 性能？
• RQ5 所推导的误差界能否用于设计最优增益序列，以在固定迭代次数下最小化均方误差？

主要发现

• 随机逼近参数估计的均方误差以最优速率 $O(1/n)$ 收敛，其中精确常数 $\Sigma_\theta$ 由李雅普诺夫方程导出。
• 本文建立了更精细的误差界：$\text{Cov}(\theta_n) = n^{-1}\Sigma_\theta + n^{-2}\Sigma_{\theta,2} + O(n^{-2-\delta})$，其中 $\Sigma_{\theta,2}$ 通过二阶李雅普诺夫方程与二阶泊松方程显式计算得出。
• 误差分量的收敛速率被证明为 $O(n^{-\varrho})$，其中 $\varrho < \varrho_0 \leq 1$，且 $\varrho_0$ 取决于马尔可夫链与矩阵 $A$ 的谱性质。
• 分析证明，即使对于可逆、几何遍历的马尔可夫链（如 M/M/1 队列），霍夫丁型界在马尔可夫噪声下通常不成立，从而解释为何聚焦于均方误差。
• 鞅差分分量 $\mathcal{E}_n^{(1)}$ 的界被证明为 $O(n^{-2\varrho})$ 或 $O(n^{-2})$，具体取决于 $\varrho$，其收敛速率由步长指数决定。
• 研究结果为在有限时域设置下设计最优增益序列提供了框架，通过最小化误差展开中的 $n^{-2}$ 项实现，可直接应用于强化学习与MCMC算法。