[论文解读] Finding Local Minima via Stochastic Nested Variance Reduction

Dongruo Zhou, Pan Xu+1 more|arXiv (Cornell University)|Jun 22, 2018

Stochastic Gradient Optimization Techniques参考文献 37被引用 12

一句话总结

该论文提出 SNVRG+ + Neon2 算法，通过利用随机嵌套方差缩减和负曲率检测，在非凸优化中加速收敛至 (ϵ, ϵH)-二阶平稳点。该方法实现了改进的梯度复杂度——对于有限和问题为 eO(n^{1/2}ϵ^{-2} + nϵ_H^{-3} + n^{3/4}ϵ_H^{-7/2})，对于一般随机问题为 eO(ϵ^{-3} + ϵ_H^{-5} + ϵ^{-2}ϵ_H^{-3})，在广泛范围内优于先前的最先进方法。

ABSTRACT

We propose two algorithms that can find local minima faster than the state-of-the-art algorithms in both finite-sum and general stochastic nonconvex optimization. At the core of the proposed algorithms is $ ext{One-epoch-SNVRG}^+$ using stochastic nested variance reduction (Zhou et al., 2018a), which outperforms the state-of-the-art variance reduction algorithms such as SCSG (Lei et al., 2017). In particular, for finite-sum optimization problems, the proposed $ ext{SNVRG}^{+}+ ext{Neon2}^{ ext{finite}}$ algorithm achieves $ ilde{O}(n^{1/2}ε^{-2}+nε_H^{-3}+n^{3/4}ε_H^{-7/2})$ gradient complexity to converge to an $(ε, ε_H)$-second-order stationary point, which outperforms $ ext{SVRG}+ ext{Neon2}^{ ext{finite}}$ (Allen-Zhu and Li, 2017) , the best existing algorithm, in a wide regime. For general stochastic optimization problems, the proposed $ ext{SNVRG}^{+}+ ext{Neon2}^{ ext{online}}$ achieves $ ilde{O}(ε^{-3}+ε_H^{-5}+ε^{-2}ε_H^{-3})$ gradient complexity, which is better than both $ ext{SVRG}+ ext{Neon2}^{ ext{online}}$ (Allen-Zhu and Li, 2017) and Natasha2 (Allen-Zhu, 2017) in certain regimes. Furthermore, we explore the acceleration brought by third-order smoothness of the objective function.

研究动机与目标

• 开发更快的算法以在非凸优化问题中寻找局部极小值。
• 在有限和与一般随机设置下，改进达到 (ϵ, ϵH)-二阶平稳点的梯度复杂度。
• 将随机嵌套方差缩减（SNVRG+）与 Neon2 框架结合，以实现高效的负曲率方向检测。
• 与现有算法（如 SVRG + Neon2 和 Natasha2）相比，展示更优的收敛速率。

提出的方法

• 提出 One-epoch-SNVRG+，即 SNVRG 的一种变体，采用随机周期长度并选择最后一个迭代点作为输出，从而改进对最后一个迭代点的收敛保证。
• 采用随机嵌套方差缩减以减少非凸有限和问题中的梯度方差。
• 将 One-epoch-SNVRG+ 与 Neon2 算法结合，以在不计算 Hessian 矩阵的情况下检测负曲率方向。
• 使用递归方差缩减方案，结合自适应步长和类似动量的更新，以稳定收敛过程。
• 应用条件期望和伸缩不等式，推导出梯度范数和函数值下降的理论界。
• 利用三阶光滑性进一步加速某些情形下的收敛速度。

实验结果

研究问题

• RQ1 随机嵌套方差缩减能否有效应用于非凸优化中寻找二阶平稳点？
• RQ2 One-epoch-SNVRG+ 在有限和问题中是否实现优于现有的一阶方法的梯度复杂度？
• RQ3 将 SNVRG+ 与 Neon2 集成是否能在一般随机优化中超越 SVRG + Neon2 和 Natasha2？
• RQ4 目标函数的三阶光滑性如何影响所提算法的收敛速率？
• RQ5 所提算法在实现 (ϵ, ϵH)-平稳点时的理论梯度复杂度是多少？

主要发现

• SNVRG+ + Neon2finite 算法在有限和问题中实现 eO(n^{1/2}ϵ^{-2} + nϵ_H^{-3} + n^{3/4}ϵ_H^{-7/2}) 的梯度复杂度，优于 SVRG + Neon2finite 在广泛范围内的表现。
• SNVRG+ + Neon2online 算法在一般随机问题中实现 eO(ϵ^{-3} + ϵ_H^{-5} + ϵ^{-2}ϵ_H^{-3}) 的梯度复杂度，在某些范围内优于 SVRG + Neon2online 和 Natasha2。
• 理论分析证实，One-epoch-SNVRG+ 为每个周期的最后一个迭代点提供了收敛保证，从而实现与 Neon2 的稳定集成。
• 该方法通过 Neon2 的基于梯度的负曲率检测，成功避免了显式计算 Hessian 矩阵。
• 在三阶光滑性假设下，实验收益进一步增强，梯度复杂度进一步降低。
• 证明框架依赖于伸缩不等式和条件期望界，以控制方差和梯度范数的衰减。