[论文解读] Linear convergence of first order methods for non-strongly convex optimization

Ion Necoara, Yurii Nesterov+1 more|arXiv (Cornell University)|Apr 23, 2015

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文通过引入松弛的强凸性条件（如二次泛函增长条件），建立了非强凸优化中一阶方法的线性收敛性。证明了这些松弛条件足以保证投影梯度法、快速梯度法和可行下降法的线性收敛，从而将适用范围扩展至线性规划和线性系统等问题。

ABSTRACT

The standard assumption for proving linear convergence of first order methods for smooth convex optimization is the strong convexity of the objective function, an assumption which does not hold for many practical applications. In this paper, we derive linear convergence rates of several first order methods for solving smooth non-strongly convex constrained optimization problems, i.e. involving an objective function with a Lipschitz continuous gradient that satisfies some relaxed strong convexity condition. In particular, in the case of smooth constrained convex optimization, we provide several relaxations of the strong convexity conditions and prove that they are sufficient for getting linear convergence for several first order methods such as projected gradient, fast gradient and feasible descent methods. We also provide examples of functional classes that satisfy our proposed relaxations of strong convexity conditions. Finally, we show that the proposed relaxed strong convexity conditions cover important applications ranging from solving linear systems, Linear Programming, and dual formulations of linearly constrained convex problems.

研究动机与目标

• 为解决一阶方法在非强凸问题中线性收敛的局限性，其中标准假设在实际应用中失效。
• 识别出可松弛强凸性但依然确保一阶方法线性收敛的一般函数条件。
• 证明这些松弛条件可覆盖重要应用，如线性规划、求解线性系统以及线性约束凸问题的对偶形式。
• 在新条件下为投影梯度法、快速梯度法和可行下降法提供理论保证和改进的收敛速率。

提出的方法

• 引入二次泛函增长条件作为强凸性的松弛，要求目标函数在最优集距离的平方之上增长更快。
• 提出强凸性的其他更保守的松弛形式，并建立其与二次泛函增长条件的关系。
• 将松弛条件应用于证明在光滑、凸、约束优化中，投影梯度法、快速梯度法和可行下降法的线性收敛性。
• 使用同质自对偶嵌入重构方法，将线性规划转化为具有二次目标的凸可行性问题。
• 在重构问题上应用一阶方法（例如，带重启的投影梯度法、快速梯度法）以实现线性收敛。
• 通过在稠密和稀疏约束矩阵的随机生成线性规划上进行数值模拟，验证理论结果。

实验结果

研究问题

• RQ1 在非强凸优化中，目标函数的何种松弛条件足以保证一阶方法的线性收敛？
• RQ2 所提出的强凸性松弛与现有概念（如误差界、尖锐极小点或受限强凸性）相比如何？
• RQ3 在一阶方法下，线性规划和线性系统能否在所提出的松弛条件下实现线性收敛？
• RQ4 二次泛函增长条件与投影梯度法和快速梯度法的收敛速率之间有何关系？
• RQ5 理论收敛速率与在稀疏和稠密线性规划上的数值实验中的实际性能相比如何？

主要发现

• 二次泛函增长条件足以保证在光滑、凸、约束优化中，投影梯度法、快速梯度法和可行下降法的线性收敛。
• 所提出的松弛强凸性条件覆盖了重要应用，如求解线性系统、线性规划以及线性约束凸问题的对偶形式。
• 数值结果表明，带重启的快速梯度法在稀疏和稠密线性规划上均显著快于标准投影梯度法和循环坐标下降法。
• 模拟结果证实了理论线性收敛性，误差呈对数递减，与预测的线性速率一致。
• 本文建立了在所提松弛条件下，梯度法线性收敛的必要与充分条件。
• 对于通过同质自对偶嵌入重构为二次凸问题的线性规划，一阶方法在$\mathcal{O}(1)$次迭代内即可达到单位精度，意味着在松弛条件下可实现线性时间求解。