[论文解读] Katalyst: Boosting Convex Katayusha for Non-Convex Problems with a Large Condition Number

Zaiyi Chen, Yi Xu+2 more|arXiv (Cornell University)|Sep 18, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用 4

一句话总结

本文提出 Katalyst，一种新型的 SVRG 类加速随机算法，可改进条件数较大的非凸有限和问题的收敛复杂度。通过自适应动量与方差减少技术增强 Katyusha 方法，Katalyst 实现了依赖于弱凸性参数 μ 的最优梯度复杂度，与现有最佳 SAGA 类方法相当，同时保持更低的内存使用量。

ABSTRACT

In this paper, we propose a new SVRG-style acceleated stochastic algorithm for solving a family of non-convex optimization problems whose objective consists of a sum of $n$ smooth functions and a non-smooth convex function. Our major goal is to improve the convergence of SVRG-style stochastic algorithms to stationary points under a setting with a large condition number $c$ - the ratio between the smoothness constant and the negative curvature constant. The proposed algorithm achieves the best known gradient complexity when $c\geq Ω(n)$, which was achieved previously by a SAGA-style accelerated stochastic algorithm. Compared with the SAGA-style accelerated stochastic algorithm, the proposed algorithm is more practical due to its low memory cost that is inherited from previous SVRG-style algorithms. Compared with previous studies on SVRG-style stochastic algorithms, our theory provides much stronger results in terms of (i) reduced gradient complexity under a large condition number; and (ii) that the convergence is proved for a sampled stagewise averaged solution that is selected from all stagewise averaged solutions with increasing sampling probabilities instead of for a uniformly sampled solutions across all iterations.

研究动机与目标

• 填补现有方差减少方法在条件数较大（L/μ）的非凸问题中的空白，其中现有 SVRG 类方法存在收敛性差的问题。
• 改进在每个分量函数为 μ-弱凸且 L-光滑的非凸有限和问题中，SVRG 类算法的梯度复杂度。
• 实现与现有最佳 SAGA 类加速算法相当的复杂度，同时保持 SVRG 的低内存优势。
• 设计一种可自适应非凸程度（通过 μ 表征）的方法，使得接近凸性的问题（μ 较小）能实现更快收敛。
• 提供理论保证与实证验证，证明其在低 μ 范畴下优于 proxSVRG 与 4WD-Catalyst。

提出的方法

• 将原本用于凸问题的 Katyusha 算法，通过基于动量的更新与自适应步长，拓展至非凸设置。
• 提出一种新型方差减少机制，仅维护一个完整梯度估计，并采用带控制变量策略的随机梯度。
• 应用 Catalyst 框架，将非凸问题转化为一系列条件性更优的子问题，利用近端算子处理非光滑项。
• 采用重启机制，并精心选择内层循环长度，以平衡收敛性与方差减少效果，确保在非凸景观中的稳定性。
• 推导出当 L/μ ≥ Ω(n) 时，寻找 ε-稳定点的梯度复杂度上界为 Õ(√(nLμ)/ε²)，优于先前的 SVRG 类方法。
• 在加速框架中集成非光滑凸正则化项 ψ(x) 的近端算子，以高效处理非光滑性。

实验结果

研究问题

• RQ1 能否改进 SVRG 类方法在条件数较大（L/μ）的非凸问题中的梯度复杂度？
• RQ2 在复杂度界中引入弱凸性参数 μ 是否能加快接近凸性问题的收敛速度？
• RQ3 基于 Katyusha 的增强框架能否实现与 SAGA 类加速方法相当的复杂度，同时保持低内存使用？
• RQ4 与 proxSVRG 和 4WD-Catalyst 相比，所提方法在实际应用中表现如何，特别是在 μ 较小时？
• RQ5 理论复杂度界是否紧致且在真实世界非凸机器学习问题中具有实际有效性？

主要发现

• 当 L/μ ≥ Ω(n) 时，Katalyst 在寻找 ε-稳定点的梯度复杂度为 Õ(√(nLμ)/ε²)，是所有 SVRG 类方法中最佳的。
• 该复杂度与近期 SAGA 类加速算法 RapGrad 相当，但因 SVRG 仅需存储单个梯度，内存成本显著更低。
• 在 μ 较小（即问题接近凸性）时，Katalyst 在数值实验中表现出相较于 proxSVRG 与 4WD-Catalyst 的显著加速。
• 在 rcv1 与 real-sim 数据集上的实证结果表明，Katalyst 收敛速度优于 proxSVRG 与 4WD-Catalyst，尤其在 λ 较小（导致 μ 较小）时表现更优。
• 即使在条件数较大的情况下，该方法仍保持稳定与高效，展现出在高对比度非凸设置中的鲁棒性。
• 理论分析证实，复杂度界是紧致的且对 μ 具有自适应性，表明非凸程度直接影响收敛速度。