[论文解读] Inexact Proximal-Point Penalty Methods for Constrained Non-Convex Optimization

Qihang Lin, Runchao Ma+1 more|arXiv (Cornell University)|Aug 30, 2019

Sparse and Compressive Sensing Techniques参考文献 83被引用 13

一句话总结

本文提出了一种用于约束非凸优化的不精确邻近点惩罚方法（iPPP），结合邻近点与二次惩罚技术，通过自适应加速梯度方法近似求解子问题。在凸约束下，基于Slater条件，其复杂度界为$\tilde{O}(\varepsilon^{-5/2})$；在非凸约束下，复杂度界为$\tilde{O}(\varepsilon^{-3})$或$\tilde{O}(\varepsilon^{-4})$，具体取决于非奇异性和可行性条件。

ABSTRACT

In this paper, an inexact proximal-point penalty method is studied for constrained optimization problems, where the objective function is non-convex, and the constraint functions can also be non-convex. The proposed method approximately solves a sequence of subproblems, each of which is formed by adding to the original objective function a proximal term and quadratic penalty terms associated to the constraint functions. Under a weak-convexity assumption, each subproblem is made strongly convex and can be solved effectively to a required accuracy by an optimal gradient-based method. The computational complexity of the proposed method is analyzed separately for the cases of convex constraint and non-convex constraint. For both cases, the complexity results are established in terms of the number of proximal gradient steps needed to find an $\varepsilon$-stationary point. When the constraint functions are convex, we show a complexity result of $ ilde O(\varepsilon^{-5/2})$ to produce an $\varepsilon$-stationary point under the Slater's condition. When the constraint functions are non-convex, the complexity becomes $ ilde O(\varepsilon^{-3})$ if a non-singularity condition holds on constraints and otherwise $ ilde O(\varepsilon^{-4})$ if a feasible initial solution is available.

研究动机与目标

• 开发一种基于梯度的方法，用于寻找具有非凸目标函数和约束的约束非凸优化问题中的近似驻点。
• 分析不精确邻近点惩罚方法在达到$\varepsilon$-驻点时，其计算复杂度（以邻近梯度步数衡量）。
• 在不同正则性条件下建立复杂度界：凸约束下为Slater条件，非凸约束下为非奇异或可行性假设。
• 在真实数据集上与基于信赖域的惩罚方法进行实验比较，证明在目标值、可行性与驻性方面具有更优的收敛性能。

提出的方法

• 该方法通过向原始非凸目标函数中添加邻近项和二次惩罚项，形成一系列强凸子问题并求解。
• 每个子问题通过自适应加速邻近梯度（AdapAPG）方法近似求解，允许在控制误差范围内使用不精确解。
• 当子问题精度达到时，通过引导程序自适应增加惩罚参数，确保收敛至驻点。
• 算法使用回溯线搜索更新迭代点，并确保增广拉格朗日函数的充分下降。
• 探索了两种参数设置：固定惩罚参数与增长惩罚参数，后者在实验中表现出更优性能。
• 该方法可处理不等式与等式约束，通过增广拉格朗日函数梯度的范数衡量驻性，通过约束违反程度衡量可行性。

实验结果

研究问题

• RQ1 当目标函数为弱凸且约束为凸时，在约束非凸优化中寻找$\varepsilon$-驻点的计算复杂度是多少？
• RQ2 当目标函数与约束函数均为非凸时，在不同约束正则性条件下，复杂度如何变化？
• RQ3 在实践中，不精确邻近点惩罚方法能否实现比基于信赖域的惩罚方法更优的收敛行为？
• RQ4 使用增长惩罚参数与固定惩罚参数对收敛速度与解质量有何影响？
• RQ5 在真实世界分类问题中，该方法在目标值、可行性与驻性方面的表现如何？

主要发现

• 对于具有凸约束的非凸目标函数，该方法在Slater条件下以复杂度$\tilde{O}(\varepsilon^{-5/2})$达到$\varepsilon$-驻点。
• 当目标函数与约束均为非凸时，若约束满足非奇异条件，则复杂度为$\tilde{O}(\varepsilon^{-3})$。
• 若非奇异条件不成立但存在可行初始解，则复杂度上升至$\tilde{O}(\varepsilon^{-4})$。
• 数值结果表明，iPPP方法在MNIST与covtype数据集上，同时优于基于信赖域的惩罚方法，在目标值改善、可行性与驻性方面均表现更优。
• 采用增长惩罚参数的变体始终优于固定惩罚参数版本，表明自适应惩罚更新策略具有优势。
• 该方法成功平衡了子问题精度与迭代次数，在比基线方法更少的数据遍历次数下，达到了高质量的驻点。