[论文解读] Almost sure convergence and asymptotical normality of a generalization of Kesten's stochastic approximation algorithm for multidimensional case

Pedro Cruz-Romero|arXiv (Cornell University)|May 26, 2011

Stochastic Gradient Optimization Techniques参考文献 3被引用 5

一句话总结

该论文建立了对Kesten随机逼近算法的多维推广的几乎必然收敛性和渐近正态性，其中步长根据连续估计增量之间标量积的符号动态调整。关键贡献在于在温和正则性条件下证明了$\tilde{t}(x_t - x^*) \xrightarrow{d} \mathcal{N}(0,V)$，其中$V$满足李雅普诺夫方程，从而确保最优收敛速率和分布极限。

ABSTRACT

It is shown the almost sure convergence and asymptotical normality of a generalization of Kesten's stochastic approximation algorithm for multidimensional case. In this generalization, the step increases or decreases if the scalar product of two subsequente increments of the estimates is positive or negative. This rule is intended to accelerate the entrance in the `stochastic behaviour' when initial conditions cause the algorithm to behave in a `deterministic fashion' for the starting iterations.

研究动机与目标

• 将Kesten的随机逼近算法推广至具有自适应步长控制的多维情形。
• 在向量场和噪声的一般条件下，建立该算法的几乎必然收敛性。
• 在额外的正则性和矩条件之下，推导估计量的渐近正态性。
• 证明基于S形函数的自适应规则在初始条件引发类似确定性行为时可加速收敛。

提出的方法

• 引入一种动态步长规则，其中$s_t = (s_{t-1} + \mathrm{u}(-y_t^T y_{t-1}))^+$，$\mathrm{u}$为S形函数，根据连续梯度估计之间标量积的符号调整步长。
• 使用李雅普诺夫函数$V(x)$，满足$V(x^*) = 0$，$\nabla^2 V(x) \leq M$，且对$x \neq x^*$有$\varphi(x)^T \nabla V(x) > 0$，以分析稳定性。
• 采用鞅差序列框架，其中$\xi_t$为独立同分布的噪声，均值为零，协方差为$S_\xi$。
• 应用柯尔莫哥洛夫迭代对数律和鞅收敛定理，以控制随机项的行为。
• 通过证明$\sqrt{t}(x_t - x^*) \xrightarrow{d} \mathcal{N}(0,V)$，其中$V$满足李雅普诺夫方程$A V + V A^T = \Sigma$，推导渐近正态性。
• 利用Slutsky定理与一致可积性，将自适应步长机制下的依概率收敛与依分布收敛联系起来。

实验结果

研究问题

• RQ1 所提出的自适应步长规则是否能确保在多维情形下，随机逼近序列几乎必然收敛于真实解？
• RQ2 在何种条件下算法可实现渐近正态性？归一化误差的极限分布为何？
• RQ3 基于标量积的步长自适应机制如何在初始条件导致类似确定性行为时提升收敛性？
• RQ4 期望值$\mathrm{E}_0 = \lim_{\omega \to 0^+} \mathrm{E}[\mathrm{u}(X^{(\omega)})]$在确保收敛性与渐近正态性中起何作用？
• RQ5 在给定假设下，渐近方差$V$是否可表征为李雅普诺夫方程的唯一解？

主要发现

• 在假设B1–B4下，包括李雅普诺夫函数条件和正极限$\mathrm{E}_0 > 0$，建立了$x_t$对真实解$x^*$的几乎必然收敛。
• 当满足附加假设B3.3、B3.4和B4.3时，渐近正态性成立，且$\sqrt{t}(x_t - x^*) \xrightarrow{d} \mathcal{N}(0,V)$。
• 渐近方差$V$是李雅普诺夫方程$A V + V A^T = \Sigma$的唯一正定解，其中$A = \varphi'(x^*)$，$\Sigma$为噪声的协方差矩阵。
• 基于$y_t^T y_{t-1}$符号的自适应步长规则通过在算法进入随机状态时减小步长，从而加速收敛。
• 在给定条件下，收敛速率$\sqrt{t}$为最优，极限分布为均值为零、协方差为$V$的多元正态分布。
• 证明依赖于鞅收敛、一致可积性及Slutsky定理，即使在时变步长下，仍能建立依分布收敛。