[论文解读] Linear convergence of first order methods under weak nondegeneracy assumptions for convex programming

Ion Necoara|arXiv (Cornell University)|Apr 23, 2015

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文在平滑凸优化中，针对弱化的强凸性条件，建立了首次阶方法的线性收敛性，将收敛性保证从标准强凸性假设扩展至更广泛的情形。该工作提出了弱化的曲率要求，仍能确保投影梯度法、快速梯度法和可行下降法的线性收敛速率，覆盖了线性系统和线性规划等关键应用。

ABSTRACT

The standard assumption for proving linear convergence of first order methods for smooth convex optimization is the strong convexity of the objective function, an assumption which does not hold for many practical applications. In this paper, we derive linear convergence rates of several first order methods for solving smooth non-strongly convex constrained optimization problems, i.e. involving an objective function with a Lipschitz continuous gradient that satisfies some relaxed strong convexity condition. In particular, in the case of smooth constrained convex optimization, we provide several relaxations of the strong convexity conditions and prove that they are sufficient for getting linear convergence for several first order methods such as projected gradient, fast gradient and feasible descent methods. We also provide examples of functional classes that satisfy our proposed relaxations of strong convexity conditions. Finally, we show that the proposed relaxed strong convexity conditions cover important applications ranging from solving linear systems, Linear Programming, and dual formulations of linearly constrained convex problems.

研究动机与目标

• 解决强凸性作为首次阶方法线性收敛前提条件的局限性。
• 识别出弱于强凸性的曲率条件，仍能保证线性收敛速率。
• 将收敛性分析扩展至平滑、非强凸、约束优化问题。
• 证明弱化条件在实际问题（如线性系统和线性规划）中的适用性。
• 在更广泛的凸问题类别下，统一首次阶方法的收敛性理论。

提出的方法

• 基于可行集上 Hessian 矩阵的行为，提出一种弱化的强凸性条件，允许在某些方向上曲率消失。
• 引入一种依赖于到最优解集距离的广义曲率条件，确保充分的下降。
• 在新条件下分析投影梯度法、快速梯度法和可行下降法，证明其线性收敛速率。
• 利用梯度的利普希茨连续性与新曲率条件，界定每次迭代中目标函数值的下降量。
• 通过弱化曲率条件将最优性间隙的减小与到解集的距离关联，推导收敛速率。
• 将该框架应用于线性约束凸问题的对偶形式及线性系统，展示其适用性。

实验结果

研究问题

• RQ1 在不假设目标函数强凸性的情况下，是否能实现首次阶方法的线性收敛？
• RQ2 在平滑凸优化中，哪些弱化的曲率条件足以保证线性收敛？
• RQ3 所提出的条件如何推广或扩展标准强凸性假设？
• RQ4 新条件是否涵盖线性系统和线性规划等重要应用？
• RQ5 能否在单一弱化框架下统一不同首次阶方法的收敛性分析？

主要发现

• 在允许某些方向上曲率消失的弱化强凸性条件下，投影梯度法、快速梯度法和可行下降法均实现线性收敛。
• 所提出的曲率条件弱于强凸性，但仍能保证以到最优解集距离为度量的线性收敛速率。
• 该框架适用于线性约束凸问题的对偶形式，包括线性规划和线性系统求解。
• 提供了满足弱化条件的函数类示例，表明该条件非平凡且适用于实际问题。
• 收敛速率依赖于一个广义曲率参数，该参数推广了强凸性参数，即使在后者为零时仍保持线性收敛。
• 结果统一并扩展了现有收敛性理论，使非强凸问题在关键应用中实现更快优化。