[论文解读] Convergence Rate Analysis of a Stochastic Trust Region Method via Submartingales

José Blanchet, Coralia Cartis+2 more|arXiv (Cornell University)|Sep 23, 2016

Stochastic Gradient Optimization Techniques参考文献 22被引用 15

一句话总结

本文提出了一种新颖的随机过程框架，利用上鞅（supermartingales）分析在噪声和自适应估计条件下信赖域方法的收敛速率。该研究首次建立了 $O(\epsilon^{-2})$ 的全局复杂度界，适用于实现 $\|\nabla f(x)\| \leq \epsilon$ 的随机信赖域方法，并在附加假设下将其扩展至 $O(\epsilon^{-3})$ 的二阶收敛复杂度。

ABSTRACT

We propose a novel framework for analyzing convergence rates of stochastic optimization algorithms with adaptive step sizes. This framework is based on analyzing properties of an underlying generic stochastic process, in particular by deriving a bound on the expected stopping time of this process. We utilize this framework to analyze the bounds on expected global convergence rates of a stochastic variant of a traditional trust region method, introduced in \cite{ChenMenickellyScheinberg2014}. While traditional trust region methods rely on exact computations of the gradient, Hessian and values of the objective function, this method assumes that these values are available up to some dynamically adjusted accuracy. Moreover, this accuracy is assumed to hold only with some sufficiently large, but fixed, probability, without any additional restrictions on the variance of the errors. This setting applies, for example, to standard stochastic optimization and machine learning formulations. Improving upon the analysis in \cite{ChenMenickellyScheinberg2014}, we show that the stochastic process defined by the algorithm satisfies the assumptions of our proposed general framework, with the stopping time defined as reaching accuracy $\| abla f(x)\|\leq ε$. The resulting bound for this stopping time is $O(ε^{-2})$, under the assumption of sufficiently accurate stochastic gradient, and is the first global complexity bound for a stochastic trust-region method. Finally, we apply the same framework to derive second order complexity bound under some additional assumptions.

研究动机与目标

• 开发一种通用框架，用于分析具有自适应步长的随机优化算法的收敛速率，基于随机过程。
• 分析使用动态精确梯度和海森矩阵估计的随机信赖域方法的期望全局收敛速率。
• 在一般噪声假设下，不施加方差限制，首次建立随机信赖域方法的全局复杂度界。
• 将该框架扩展至在额外正则性假设下推导二阶复杂度界。
• 证明该方法在复杂度上可达到与确定性情况相同的二阶平稳点收敛性能。

提出的方法

• 构建一种随机信赖域方法，其中梯度、海森矩阵和目标函数值的估计精度随时间自适应提高。
• 应用基于上鞅的框架，以界定由算法定义的随机过程的期望停止时间。
• 将停止时间定义为达到 $\|\nabla f(x)\| \leq \epsilon$ 的时刻，对应于一阶平稳性。
• 通过利普希茨常数和模型精度参数导出的常数，推导出李雅普诺夫型函数 $\Phi_k$ 的期望下降量的界。
• 利用对随机估计精度的假设（例如 $\epsilon_F$、$\eta_2$）来控制模型质量并确保收敛性。
• 将该框架应用于一阶和二阶情形，通过过程的期望停止时间推导复杂度界。

实验结果

研究问题

• RQ1 能否开发一种通用的随机过程框架，用于分析自适应随机优化算法的收敛速率？
• RQ2 当梯度和海森矩阵估计存在噪声但逐步提高精度时，随机信赖域方法的全局收敛复杂度是多少？
• RQ3 在一般噪声条件下，随机信赖域方法是否能实现与确定性信赖域方法相同的收敛速率？
• RQ4 该框架能否扩展以建立收敛至二阶平稳点的二阶复杂度界？
• RQ5 随机估计的自适应精度如何影响算法的收敛速率和整体复杂度？

主要发现

• 所提出的框架在一般噪声假设下，首次建立了随机信赖域方法的 $O(\epsilon^{-2})$ 全局复杂度界。
• 当梯度估计足够精确时，达到 $\|\nabla f(x)\| \leq \epsilon$ 的期望停止时间 $\mathbb{E}[T_\epsilon]$ 被界为 $O(\epsilon^{-2})$。
• 对于二阶收敛，在附加假设下，期望停止时间被界为 $O(\epsilon^{-3})$，与确定性情况一致。
• 复杂度界通过李雅普诺夫函数 $\Phi_k$ 的上鞅分析得出，显式常数依赖于利普希茨常数和模型精度参数。
• 该方法无需完整梯度计算，因此适用于纯随机和大规模机器学习场景。
• 该框架具有通用性，已成功应用于其他算法（如随机线搜索），展现出广泛适用性。