[论文解读] Catalyst Acceleration for Gradient-Based Non-Convex Optimization

Courtney Paquette, Hongzhou Lin+3 more|arXiv (Cornell University)|Mar 31, 2017

Sparse and Compressive Sensing Techniques参考文献 54被引用 23

一句话总结

本文提出 4WD-Catalyst，一种通用元算法，使基于梯度的凸优化方法能够高效求解非凸及弱凸问题，且无需事先了解凸性。该方法在非凸问题中实现最坏情况 O(ε⁻²) 复杂度，在目标函数为凸时自动加速至 O(ε⁻²ᐟ³)，并通过自适应平滑和迭代精化适应未知的弱凸性常数。

ABSTRACT

We introduce a generic scheme to solve nonconvex optimization problems using gradient-based algorithms originally designed for minimizing convex functions. Even though these methods may originally require convexity to operate, the proposed approach allows one to use them on weakly convex objectives, which covers a large class of non-convex functions typically appearing in machine learning and signal processing. In general, the scheme is guaranteed to produce a stationary point with a worst-case efficiency typical of first-order methods, and when the objective turns out to be convex, it automatically accelerates in the sense of Nesterov and achieves near-optimal convergence rate in function values. These properties are achieved without assuming any knowledge about the convexity of the objective, by automatically adapting to the unknown weak convexity constant. We conclude the paper by showing promising experimental results obtained by applying our approach to incremental algorithms such as SVRG and SAGA for sparse matrix factorization and for learning neural networks.

研究动机与目标

• 开发一种通用框架，使凸优化方法可应用于非凸及弱凸问题，且无需事先了解凸性。
• 确保方法在非凸目标函数下保持最坏情况 O(ε⁻²) 复杂度，与标准一阶方法一致。
• 当目标函数为凸时，自动加速至 O(ε⁻²ᐟ³) 复杂度，与 Nesterov 的最优速率一致。
• 处理机器学习与信号处理中典型的复合、有限和、非光滑正则化问题。
• 设计一种方案，适应未知的弱凸性常数，而无需显式了解问题结构。

提出的方法

• 该方法通过一系列递增的平滑参数 κ，使用自适应 Tikhonov 类型平滑，将原始非凸问题转化为一系列类凸子问题。
• 对一系列正则化子问题 fₖ(x; y) = f(x) + (κ/2)‖x - y‖² 应用基础凸优化方法 M（例如 SAGA、SVRG），其中 y 为参考点。
• 算法通过倍增策略动态增加 κ，直至 κ > ρ + L，其中 ρ 为弱凸性常数，L 为梯度的利普希茨常数。
• 维护两条序列：一条用于近似驻点（通过 T 次迭代），另一条用于自适应收敛（通过 S log(k+1) 次迭代），确保下降性和驻性。
• 该方法利用 Catalyst 框架递归最小化平滑子问题，实现向 ε-驻点的收敛。
• 理论保证通过下降条件和到次微分的距离界推导，确保在最小假设下收敛。

实验结果

研究问题

• RQ1 能否在不事先了解凸性的情况下，将凸优化方法重新用于求解非凸问题？
• RQ2 一种自适应凸性的首阶方法的最坏情况复杂度是多少？该方法在目标函数为凸时能实现加速？
• RQ3 如何利用自适应平滑将非凸问题转化为一系列具有保证收敛性的类凸子问题？
• RQ4 该方法能否在非凸情况下保持 O(ε⁻²) 复杂度，同时在凸情况下实现 O(ε⁻²ᐟ³) 复杂度，而无需显式检测凸性？
• RQ5 该方案如何应用于 SAGA 和 SVRG 等增量一阶方法，在神经网络训练和矩阵分解等实际场景中应用？

主要发现

• 4WD-Catalyst 元算法在非凸问题中寻找 ε-驻点时，实现最坏情况 O(ε⁻²) 迭代复杂度，与一阶方法的下界一致。
• 当目标函数为凸时，该方法自动加速至 O(ε⁻²ᐟ³) 复杂度，与 Nesterov 加速梯度法的最优速率一致。
• 该方法在无需事先了解弱凸性常数 ρ 的情况下自适应调整，通过在平滑参数 κ 上使用倍增策略。
• 理论分析证实，该算法通过自适应子问题最小化和到次微分的距离界，保持下降性和收敛性。
• 实验结果表明，即使目标函数并非全局凸，该方法在稀疏矩阵分解和神经网络训练中对 SVRG 和 SAGA 均表现出实际加速。
• 该方法成功处理复合、有限和、非光滑正则化问题，包括通过指示函数实现的约束最小化。