[论文解读] Convergence Rate Analysis of a Stochastic Trust Region Method for Nonconvex Optimization

José Blanchet, Coralia Cartis+2 more|arXiv (Cornell University)|Sep 23, 2016

Stochastic Gradient Optimization Techniques被引用 22

一句话总结

本文提出了一种用于非凸优化的随机信赖域方法，可容忍噪声梯度和目标函数评估，且精度动态调整。在温和的误差假设下，其达到 ∥∇f(x)∥ ≤ ε 所需的期望迭代复杂度为 O(ε⁻²)，将信赖域方法扩展至随机设置，具有实际的机器学习应用价值。

ABSTRACT

We introduce a variant of a traditional trust region method which is aimed at stochastic optimization. While traditional trust region method relies on exact computations of the gradient and values of the objective function, our method assumes that these values are available up to some dynamically adjusted accuracy. Moreover, this accuracy is assumed to hold only with some sufficiently large, but fixed, probability, without any additional restrictions on the variance of the errors. We show that our assumptions apply to the standard stochastic setting assumed in the machine learning problems, but also include more general settings. We then proceed to provide a bound on the expected number of iterations the stochastic algorithm requires to reach accuracy $\| abla f(x)\|\leq \epsilon$, for any $\epsilon>0$. The resulting bound is $O(\epsilon^{-2})$, under the assumption of sufficiently accurate stochastic gradient.

研究动机与目标

• 开发一种在梯度和目标函数评估存在随机噪声而非精确值时仍能运行的信赖域方法。
• 分析此类随机信赖域方法在非凸优化设置下的收敛速率。
• 在对误差分布假设最少的前提下，建立迭代复杂度边界，包括有界方差和高概率精度。
• 证明该方法在梯度通过噪声估计的典型机器学习设置中的适用性。
• 提供达到指定梯度范数阈值所需期望迭代次数的理论保证。

提出的方法

• 提出一种使用不精确梯度和目标函数值的随机信赖域算法，其精度在迭代过程中动态调整。
• 依赖于信赖域框架，其中步长由包含目标函数二次模型的子问题控制。
• 假设梯度和函数评估在高概率下准确（远离零），而无需假设方差有界。
• 采用概率预言机模型，其中梯度和函数值的误差以固定且足够高的概率被限制。
• 使用基于随机估计质量的回溯搜索或信赖域更新策略。
• 基于每轮迭代的期望进展进行收敛性分析，利用精度概率来界定期望改进量。

实验结果

研究问题

• RQ1 当梯度和目标函数值通过噪声估计时，信赖域方法的期望迭代复杂度是多少？
• RQ2 随机估计的精度如何影响非凸优化中的收敛性？
• RQ3 信赖域框架能否扩展至具有高概率但非有界方差的随机误差设置？
• RQ4 在何种条件下，随机信赖域方法可达到给定的梯度范数阈值 ∥∇f(x)∥ ≤ ε？
• RQ5 在现实的随机假设下，该方法是否能保持与确定性信赖域方法相当的收敛保证？

主要发现

• 所提出的随机信赖域方法在随机梯度足够精确的假设下，达到 ∥∇f(x)∥ ≤ ε 的期望迭代复杂度为 O(ε⁻²)。
• 即使不假设随机误差具有有界方差，该收敛速率边界依然成立，仅需高概率精度。
• 该方法适用于通过小批量估计梯度的典型机器学习设置，验证了其实际相关性。
• 分析表明，该算法在对随机估计误差分布的假设最少的情况下仍能保持收敛。
• O(ε⁻²) 复杂度与目前最优的随机非凸优化方法速率一致，证明了其与现有最先进方法的竞争力。
• 结果在固定且足够高的评估准确概率下成立，无需假设误差方差有界。