[论文解读] General multilevel adaptations for stochastic approximation algorithms

Steffen Dereich|arXiv (Cornell University)|Jun 17, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用 9

一句话总结

本文提出了一种通用的多级随机逼近算法，用于计算基于数学期望的函数 $ f(\theta) = \mathbb{E}[F(\theta, U)] $ 的零点，其中 $ F(\theta, U) $ 通过多级蒙特卡洛方法近似。通过将多级方差缩减技术整合到Robbins-Monro和Polyak-Ruppert算法中，该方法在标准偏差、矩和成本假设下，实现了与经典多级蒙特卡洛方法相同的 $ p $-阶矩误差衰减速率，且计算复杂度最优。

ABSTRACT

In this article we present and analyse new multilevel adaptations of stochastic approximation algorithms for the computation of a zero of a function $f\colon D o \mathbb R^d$ defined on a convex domain $D\subset \mathbb R^d$, which is given as a parameterised family of expectations. Our approach is universal in the sense that having multilevel implementations for a particular application at hand it is straightforward to implement the corresponding stochastic approximation algorithm. Moreover, previous research on multilevel Monte Carlo can be incorporated in a natural way. This is due to the fact that the analysis of the error and the computational cost of our method is based on similar assumptions as used in Giles (2008) for the computation of a single expectation. Additionally, we essentially only require that $f$ satisfies a classical contraction property from stochastic approximation theory. Under these assumptions we establish error bounds in $p$-th mean for our multilevel Robbins-Monro and Polyak-Ruppert schemes that decay in the computational time as fast as the classical error bounds for multilevel Monte Carlo approximations of single expectations known from Giles (2008).

研究动机与目标

• 解决在通过昂贵模拟评估期望时，标准随机逼近方法计算效率低下的问题。
• 构建一个通用框架，无缝集成现有的多级蒙特卡洛实现到随机逼近算法中。
• 在多级随机逼近中实现 $ p $-阶矩误差的最优收敛速率，与单个期望的多级蒙特卡洛方法的最佳已知界相匹配。
• 通过引入Polyak-Ruppert平均方案，克服标准Robbins-Monro方法中对收缩常数 $ L $ 的先验知识需求。
• 在最小假设下建立误差和计算成本的理论保证，将适用范围扩展至一般凸域和希尔伯特空间。

提出的方法

• 提出一种单一的多级Robbins-Monro算法，其中第 $ (n+1) $ 步使用 $ \mathbb{E}[F(\theta_n, U)] $ 的多级估计，且随时间推移逐步提高层级复杂度。
• 采用与Giles [7] 的多级蒙特卡洛方法相同的偏差、$ p $-阶中心矩和模拟成本假设，确保与现有多级实现的兼容性。
• 引入收缩性质：$ \langle f(\theta), \theta - \theta^* \rangle \leq -L\|\theta - \theta^*\|^2 $，以保证零点 $ \theta^* $ 的唯一性和稳定性。
• 引入Polyak-Ruppert平均方案，以避免对 $ L $ 的依赖，同时保持最优收敛速率而不损失效率。
• 利用附录中证明的修正版Burkholder-Davis-Gundy不等式，推导出误差过程的精确 $ p $-阶矩界。
• 将结果从 $ \mathbb{R}^d $ 推广至任意闭凸域 $ D \subset \mathbb{R}^d $，并指出所有结果可形式化地推广至可分希尔伯特空间。

实验结果

研究问题

• RQ1 能否系统性地将多级蒙特卡洛方差缩减技术整合到随机逼近算法中，以提升计算效率？
• RQ2 在标准多级假设（偏差、矩和成本）下，多级随机逼近的误差界可建立为何种形式？
• RQ3 多级Robbins-Monro算法在 $ p $-阶矩误差衰减方面与经典随机逼近相比表现如何？
• RQ4 是否可以去除对收缩常数 $ L $ 的已知需求而不牺牲收敛速率？若可，如何实现？
• RQ5 该框架在 $ \mathbb{R}^d $ 之外的推广程度如何？是否可扩展至无穷维希尔伯特空间？

主要发现

• 在标准假设下，多级Robbins-Monro算法实现了与Giles [7] 中单个期望的多级蒙特卡洛方法相同的 $ p $-阶矩误差衰减速率。
• 最大 $ p $-阶矩误差 $ \sup_{k \geq n} \mathbb{E}[\|\theta_k - \theta^*\|^p] $ 的衰减速率与经典多级蒙特卡洛方法一致，达到最优计算复杂度界。
• 多级算法的Polyak-Ruppert平均在 $ q < p $ 时，实现了与Robbins-Monro算法相同的 $ q $-阶矩误差衰减速率，且无需已知收缩常数 $ L $。
• 误差分析依赖于对修正版Burkholder-Davis-Gundy不等式的创新应用，该不等式作为附录中的技术工具被建立。
• 该框架具有通用性：一旦为 $ F(\theta, U) $ 建立了多级实现，即可通过极少额外代码实现相应的随机逼近算法。
• 所有理论结果均可形式化地推广至可分希尔伯特空间，计算成本的定义与 $ \mathbb{R}^d $ 情况类似。