[论文解读] A Stochastic Line Search Method with Convergence Rate Analysis

Courtney Paquette, Katya Scheinberg|arXiv (Cornell University)|Jul 20, 2018

Stochastic Gradient Optimization Techniques参考文献 18被引用 36

一句话总结

本文提出了一种随机线搜索方法，通过使用可计算的量自适应调整梯度和函数估计的精度，实现了与确定性梯度下降相匹配的收敛速率。该方法在非凸问题中达到 $O(\varepsilon^{-2})$，在凸问题中达到 $O(\varepsilon^{-1})$，在强凸问题中达到 $O(\log \varepsilon^{-1})$，首次为具有自适应采样策略的随机线搜索提供了理论收敛速率分析。

ABSTRACT

For deterministic optimization, line-search methods augment algorithms by providing stability and improved efficiency. We adapt a classical backtracking Armijo line-search to the stochastic optimization setting. While traditional line-search relies on exact computations of the gradient and values of the objective function, our method assumes that these values are available up to some dynamically adjusted accuracy which holds with some sufficiently large, but fixed, probability. We show the expected number of iterations to reach a near stationary point matches the worst-case efficiency of typical first-order methods, while for convex and strongly convex objective, it achieves rates of deterministic gradient descent in function values.

研究动机与目标

• 通过引入线搜索机制，解决随机梯度下降（SGD）中不稳定性和对步长敏感的问题。
• 设计一种实用的随机线搜索方法，根据可计算的量（如梯度和函数估计）动态调整采样精度。
• 为非凸、凸和强凸随机优化问题建立理论收敛速率。
• 提供首个针对具有自适应样本量选择的随机线搜索的收敛速率分析。

提出的方法

• 将经典的Armijo回溯线搜索方法拓展至随机设置，使用带有噪声的梯度和函数估计。
• 提出随机Armijo条件：$ f(x_k + \alpha_k d_k) \leq f(x_k) - \theta \alpha_k \|g_k\|^2 $，其中 $ g_k $ 为随机梯度估计。
• 采用自适应采样控制梯度和函数估计的精度，采样概率 $ p_g, p_f > 1/2 $ 确保估计质量足够。
• 采用随机过程框架分析收敛性，基于有界方差假设，推导出潜在函数 $ \Phi_k $ 的期望下降。
• 利用Lipschitz连续性和梯度方差有界性导出的常数，推导出直到 $ \|\nabla f(x_k)\|^2 \leq \varepsilon $ 的期望迭代次数边界。
• 提出基于回溯的动态步长选择策略，逐步减小步长，直至以高概率满足Armijo条件。

实验结果

研究问题

• RQ1 能否设计一种具有理论收敛速率保证的随机线搜索方法？
• RQ2 能否通过自适应采样梯度和函数值，实现在随机优化中类确定性收敛速率？
• RQ3 能否仅使用可计算的量（如当前迭代点和梯度）确定随机估计所需的精度？
• RQ4 所提方法是否在非凸问题中实现 $ O(\varepsilon^{-2}) $ 的迭代复杂度，与确定性梯度下降相匹配？
• RQ5 该方法能否在凸和强凸问题中分别实现 $ O(\varepsilon^{-1}) $ 和 $ O(\log \varepsilon^{-1}) $ 的收敛速率？

主要发现

• 该方法在非凸光滑函数上实现了 $ O(\varepsilon^{-2}) $ 的期望迭代复杂度，与确定性梯度下降的最坏情况速率一致。
• 对于凸函数，该方法在目标函数值上实现了 $ O(\varepsilon^{-1}) $ 的收敛速率，与确定性梯度下降一致。
• 在强凸情况下，该方法实现了 $ O(\log \varepsilon^{-1}) $ 的迭代复杂度，再次与确定性方法保持一致。
• 直到 $ \|\nabla f(X_k)\|^2 \leq \varepsilon $ 的期望迭代次数满足边界 $ \mathbb{E}[T_\varepsilon] \leq \frac{p_g p_f}{2p_g p_f - 1} \cdot \frac{L^3 \kappa_g^3 \kappa_2^3 \Phi_0}{\kappa_1^2 \beta^2} \cdot \frac{1}{\varepsilon^2} + 1 $，其中 $ \Phi_0 $ 依赖于初始条件。
• 梯度和函数值所需采样精度由可计算量（如 $ \|\nabla f(x_k)\| $，$ \alpha_{\max} $，以及 $ \kappa_1, \kappa_2 $）确定，确保了方法的可实施性。
• 该方法是首个基于实时可观测量实现自适应样本量选择的随机线搜索收敛速率分析。