[论文解读] Limit theorems for stochastic approximation algorithms

Henrik Renlund|arXiv (Cornell University)|Feb 23, 2011

Simulation Techniques and Applications参考文献 21被引用 9

一句话总结

本文建立了关于一维随机逼近算法的中心极限定理，该算法收敛于漂移函数的稳定零点，即使误差项在极限点不趋于零。研究根据步长的渐近缩放与漂移函数的关系，识别出不同的极限行为：当归一化步长满足 $\hat{\gamma} \geq 1/2$ 时为正态极限；当 $\hat{\gamma} < 1/2$ 时为非正态且不可识别的极限，通过具有不同替换规则但相同渐近参数的广义 Pólya urn 模型加以说明。

ABSTRACT

We prove a central limit theorem applicable to one dimensional stochastic approximation algorithms that converge to a point where the error terms of the algorithm do not vanish. We show how this applies to a certain class of these algorithms that in particular covers a generalized Pólya urn model, which is also discussed. In addition, we show how to scale these algorithms in some cases where we cannot determine the limiting distribution but expect it to be non-normal.

研究动机与目标

• 推导出在极限点处误差项不消失的随机逼近算法的中心极限定理。
• 分析此类算法中归一化序列 $X_n - p$ 的极限分布，特别是当极限方差非零时。
• 研究 $n\gamma_n h(X_{n-1})$ 的渐近行为如何决定 $X_n - p$ 的缩放与极限分布。
• 将结果应用于广义 Pólya urn 模型，表明即使渐近参数相同，不同的替换规则也可能导致不同的极限分布。
• 阐明极限分布为正态与非正态的条件，尤其是在 $\hat{\gamma} < 1/2$ 时。

提出的方法

• 推导出满足漂移条件 $f(x) = -h(x)(x-p)$ 的随机逼近过程的中心极限定理（定理 1），其中 $h$ 在 $p$ 附近连续且为正。
• 引入关键量 $\hat{\gamma} = \lim n\gamma_n h(X_{n-1})$，其决定了渐近缩放与极限行为。
• 通过识别漂移函数 $f(x) = \alpha x^2 + \beta x + c$ 与误差方差 $\mathcal{E}(x) = x(1-x)[a-c+\alpha x]^2$，将中心极限定理应用于广义 Pólya urn。
• 利用 [Jan06] 中的已知结果，比较具有相同 $\hat{\gamma}$ 与 $h(p)$ 但不同极限分布的各类 urn 过程的极限分布。
• 使用定理 2 分析 $\hat{\gamma} < 1/2$ 的情形，结果表明收敛于非正态且不可识别的分布。
• 提供反例表明，即使 $\hat{\gamma}$、$h(p)$ 与误差方差相同，不同 urn 模型仍可能因高阶结构差异而具有不同的极限分布。

实验结果

研究问题

• RQ1 在何种条件下，具有非消失误差项的随机逼近算法收敛于正态分布？
• RQ2 如何通过 $n\gamma_n h(X_{n-1})$ 的渐近值来决定 $X_n - p$ 的缩放与极限分布？
• RQ3 为何两个具有相同 $\hat{\gamma}$、$h(p)$ 与误差方差的广义 Pólya urn 过程具有不同的极限分布？
• RQ4 当 $\hat{\gamma} < 1/2$ 时，极限分布如何变化？为何其既非正态也不可识别？
• RQ5 初始条件与替换矩阵结构如何影响广义 Pólya urn 中的极限分布？

主要发现

• 当 $\hat{\gamma} \geq 1/2$ 时，归一化序列 $n^{1/2}(X_n - p)$ 按分布收敛于正态分布，如定理 1 所示。
• 当 $\hat{\gamma} < 1/2$ 时，极限分布为非正态且不可识别，由定理 2 及反例验证。
• 两个广义 Pólya urn 满足相同参数 $\hat{\gamma} = 2/5$、$h(p) = 2$ 与 $\mathcal{E}(p) = 9/4$，但极限分布不同：一个收敛于与稳定分布相关的分布，另一个收敛于对称的非正态分布。
• 当 $B_0 > 3$ 时，$Z$-过程的期望 $\mathbb{E}W$ 非零，表明其依赖于初始条件，与 $\hat{\gamma} \geq 1/2$ 情况不同。
• Friedman 乌龟模型中替换矩阵的对称性意味着当 $W_0 = B_0 > 0$ 时，$W'$ 关于零对称，但并非正态分布。
• 当 $h(p) = 0$（重根情形），如矩阵 $\begin{pmatrix}a&0\\b&a\end{pmatrix}$ 所示，极限行为为非正态，由不同的渐近律支配，如注记 3 所述。