[论文解读] Guaranteed Sufficient Decrease for Stochastic Variance Reduced Gradient Optimization

Fanhua Shang, Yuanyuan Liu+4 more|arXiv (Cornell University)|Feb 26, 2018

Stochastic Gradient Optimization Techniques参考文献 7被引用 5

一句话总结

本文提出了一种针对随机方差缩减梯度方法（如 SVRG 和 SAGA）的新型充分下降技术，引入一个动态系数，实现自适应步长调整——包括方向的缩放、扩展或反转，以确保目标函数单调下降。由此产生的算法 SVRG-SD 和 SAGA-SD 在强凸问题中实现线性收敛，并为非强凸情形提供了收敛保证，其收敛速度和运行时间均优于 SVRG、SAGA，甚至优于加速版的 Katyusha 方法。

ABSTRACT

In this paper, we propose a novel sufficient decrease technique for stochastic variance reduced gradient descent methods such as SVRG and SAGA. In order to make sufficient decrease for stochastic optimization, we design a new sufficient decrease criterion, which yields sufficient decrease versions of stochastic variance reduction algorithms such as SVRG-SD and SAGA-SD as a byproduct. We introduce a coefficient to scale current iterate and to satisfy the sufficient decrease property, which takes the decisions to shrink, expand or even move in the opposite direction, and then give two specific update rules of the coefficient for Lasso and ridge regression. Moreover, we analyze the convergence properties of our algorithms for strongly convex problems, which show that our algorithms attain linear convergence rates. We also provide the convergence guarantees of our algorithms for non-strongly convex problems. Our experimental results further verify that our algorithms achieve significantly better performance than their counterparts.

研究动机与目标

• 解决标准随机梯度下降因梯度估计方差过高而导致收敛性差的问题。
• 设计一种充分下降准则，确保在随机方差缩减方法中目标函数在每次迭代中单调减少。
• 设计自适应的步长系数更新规则，使优化过程中可实现方向的收缩、扩展或反转。
• 在所提出的框架下，为强凸和非强凸问题提供理论收敛保证。
• 通过实验验证新算法在收敛速度和运行时间效率方面优于现有方法。

提出的方法

• 提出一种新的充分下降准则，即使随机梯度偏离真实梯度，也能确保目标函数在每次迭代中下降。
• 引入一个动态系数以缩放当前迭代点，基于充分下降条件实现方向调整——包括收缩、扩展或反转。
• 推导出针对 Lasso 和岭回归问题的特定系数更新规则，利用问题结构以提升性能。
• 将充分下降技术应用于 SVRG 和 SAGA，得到 SVRG-SD 和 SAGA-SD，且每次迭代的复杂度仅略有增加。
• 将充分下降策略与动量加速结合，以进一步提升收敛速度。
• 理论分析表明，对于强凸问题可实现线性收敛，且对非强凸情形也提供了收敛保证。

实验结果

研究问题

• RQ1 能否为随机方差缩减方法设计一种充分下降准则，即使在梯度噪声较大的情况下，也能确保目标函数单调减少？
• RQ2 如何利用动态系数在 SVRG 和 SAGA 中自适应地控制步长方向与大小，以改善收敛性能？
• RQ3 所提出的 SVRG-SD 和 SAGA-SD 算法是否能在强凸问题中实现线性收敛？
• RQ4 充分下降技术能否为非强凸问题提供收敛保证，而标准 SVRG 和 SAGA 在此类问题中可能无法收敛？
• RQ5 在实际应用中，SVRG-SD 和 SAGA-SD 与当前最先进的方法（如 Katyusha）相比，在收敛速度和运行时间方面表现如何？

主要发现

• SVRG-SD 和 SAGA-SD 在强凸复合最小化问题中实现了线性收敛速率，达到目前已知的最佳理论界。
• 所提出的算法为非强凸问题提供了收敛保证，而这一性质在标准 SVRG 和 SAGA 变体中并不常见。
• 在实验中，SVRG-SD 和 SAGA-SD 在多个数据集和正则化参数下，无论是在有效遍历次数还是运行时间方面，均显著优于 SVRG 和 SAGA。
• 对于小正则化参数（如 λ₁ = 10⁻⁷）的岭回归问题，SVRG-SD 和 SAGA-SD 的收敛速度甚至快于当前最先进的加速方法 Katyusha。
• SVRG-SD 和 SAGA-SD 在不同充分下降迭代次数取值下均表现出稳健性能，显示出稳定性与一致的性能提升。
• 与 Catalyst 及其他非加速方法相比，该算法性能更优，甚至在运行时间上优于 Katyusha，原因在于其更低的每次迭代复杂度。