[论文解读] Incremental Methods for Weakly Convex Optimization

Li Xiao, Zhihui Zhu+2 more|arXiv (Cornell University)|Jul 26, 2019

Sparse and Compressive Sensing Techniques参考文献 43被引用 27

一句话总结

本文针对弱凸优化问题（在机器学习和信号处理中常见）引入并分析了增量次梯度、邻近点及邻近线性方法，证明了寻找ε-稳定点的迭代复杂度为O(ε⁻⁴)，并在满足严格性条件时实现线性收敛。这是首次将增量方法的收敛速率分析从凸设置扩展到非光滑非凸问题。

ABSTRACT

Incremental methods are widely utilized for solving finite-sum optimization problems in machine learning and signal processing. In this paper, we study a family of incremental methods -- including incremental subgradient, incremental proximal point, and incremental prox-linear methods -- for solving weakly convex optimization problems. Such a problem class covers many nonsmooth nonconvex instances that arise in engineering fields. We show that the three said incremental methods have an iteration complexity of $O(\varepsilon^{-4})$ for driving a natural stationarity measure to below $\varepsilon$. Moreover, we show that if the weakly convex function satisfies a sharpness condition, then all three incremental methods, when properly initialized and equipped with geometrically diminishing stepsizes, can achieve a local linear rate of convergence. Our work is the first to extend the convergence rate analysis of incremental methods from the nonsmooth convex regime to the weakly convex regime. Lastly, we conduct numerical experiments on the robust matrix sensing problem to illustrate the convergence performance of the three incremental methods.

研究动机与目标

• 将增量方法的收敛速率分析从非光滑凸情形扩展至弱凸情形。
• 分析增量次梯度、邻近点及邻近线性方法在弱凸有限和问题上的收敛行为。
• 在弱凸设置下建立迭代复杂度边界及线性收敛的条件。
• 通过在鲁棒矩阵感知问题上的数值实验，展示增量方法相较于随机和完整次梯度方法的实用性优势。

提出的方法

• 提出一个统一框架，用于分析弱凸有限和问题上的增量方法。
• 采用几何递减步长，以在满足严格性条件时实现局部线性收敛。
• 通过每次仅使用一个分量函数进行增量更新，避免完整梯度计算。
• 分析三种方法：增量次梯度（ISG）、增量邻近点（IPL）和增量邻近线性（IPL），在可能时采用闭式更新。
• 采用一种自然的平稳性度量来量化收敛至ε-近似稳定点的过程。
• 基于分量函数的弱凸性和Lipschitz连续性假设，推导出迭代复杂度边界。

实验结果

研究问题

• RQ1 增量次梯度、邻近点及邻近线性方法在弱凸有限和问题中的迭代复杂度是多少？
• RQ2 在额外满足严格性条件时，增量方法能否在弱凸问题中实现线性收敛？
• RQ3 在收敛速度和鲁棒性方面，增量方法与随机和完整次梯度方法在实践中相比如何？
• RQ4 初始步长在这些方法的收敛行为中起什么作用，尤其是在非凸设置下？
• RQ5 在何种条件下，增量方法能在收敛速率和稳定性方面优于其随机对应方法？

主要发现

• 增量次梯度、邻近点及邻近线性方法在弱凸问题中寻找ε-近似稳定点时，均达到O(ε⁻⁴)的迭代复杂度。
• 当弱凸问题满足严格性条件，并以几何递减步长正确初始化时，所有三种方法均线性收敛至最优解。
• 当子问题可解析求解时（如在鲁棒矩阵感知问题中），增量邻近线性方法尤为高效。
• 数值实验表明，增量方法收敛更快且比随机和完整次梯度方法更具鲁棒性，尤其是在衰减因子ρ较小时。
• 增量邻近点和邻近线性方法在初始步长选择上的鲁棒性显著优于增量次梯度方法。
• 实践中，当子问题可解析求解时，推荐使用增量邻近线性方法，因其在收敛速度与鲁棒性之间达到了良好平衡。