[论文解读] Convergence rate analysis of a sequential convex programming method with line search for a class of constrained difference-of-convex optimization problems

Peiran Yu, Ting Kei Pong+1 more|arXiv (Cornell University)|Jan 20, 2020

Optimization and Variational Analysis参考文献 55被引用 4

一句话总结

本文分析了在约束差异凸（DC）优化问题中，采用线搜索的序列凸规划方法（SCP ls）的收敛速率。通过在非凸环境下对潜在函数应用Kurdyka-Łojasiewicz（KL）条件，以及在凸环境下对扩展目标函数应用KL条件，作者在较弱假设下建立了线性收敛性，其应用包括在$Ø_2$或Lorentzian损失下的$σ_{1-2}$最小化问题。

ABSTRACT

In this paper, we study the sequential convex programming method with monotone line search (SCP$_{ls}$) in [46] for a class of difference-of-convex (DC) optimization problems with multiple smooth inequality constraints. The SCP$_{ls}$ is a representative variant of moving-ball-approximation-type algorithms [6,10,13,54] for constrained optimization problems. We analyze the convergence rate of the sequence generated by SCP$_{ls}$ in both nonconvex and convex settings by imposing suitable Kurdyka-Lojasiewicz (KL) assumptions. Specifically, in the nonconvex settings, we assume that a special potential function related to the objective and the constraints is a KL function, while in the convex settings we impose KL assumptions directly on the extended objective function (i.e., sum of the objective and the indicator function of the constraint set). A relationship between these two different KL assumptions is established in the convex settings under additional differentiability assumptions. We also discuss how to deduce the KL exponent of the extended objective function from its Lagrangian in the convex settings, under additional assumptions on the constraint functions. Thanks to this result, the extended objectives of some constrained optimization models such as minimizing $\ell_1$ subject to logistic/Poisson loss are found to be KL functions with exponent $\frac12$ under mild assumptions. To illustrate how our results can be applied, we consider SCP$_{ls}$ for minimizing $\ell_{1-2}$ [60] subject to residual error measured by $\ell_2$ norm/Lorentzian norm [21]. We first discuss how the various conditions required in our analysis can be verified, and then perform numerical experiments to illustrate the convergence behaviors of SCP$_{ls}$.

研究动机与目标

• 为求解具有多个光滑不等式约束的约束DC优化问题，建立SCP ls算法的收敛速率保证。
• 在Kurdyka-Łojasiewicz（KL）假设下分析收敛行为，区分非凸与凸设置。
• 在凸设置中，将扩展目标的KL指数与拉格朗日函数的KL指数关联，从而实现对特定模型的速率分析。
• 通过数值实验验证理论条件的适用性，并展示$σ_{1-2}$最小化问题中的收敛行为。
• 提供一种结合线搜索的实用算法框架，用于求解具有非凸正则化项和非光滑约束的稀疏恢复问题。

提出的方法

• 提出一种带有单调线搜索的序列凸规划方法（SCP ls），通过迭代求解逼近原始DC问题的凸子问题。
• 利用光滑分量$f$和$g_i$的二阶泰勒展开，构建约束的移动球近似，形成凸子问题。
• 在非凸设置中，将与目标函数和约束相关的特殊潜在函数作为KL函数；在凸情况下，直接假设扩展目标函数具有KL性质。
• 在额外的可微性与约束假设下，建立扩展目标函数的KL指数与拉格朗日函数KL指数之间的关系。
• 在数值实验中，采用对偶问题的根求解策略高效求解子问题，尤其适用于$σ_1$-范数正则化问题。
• 将该方法应用于$σ_{1-2}$最小化问题，采用$Ø_2$或Lorentzian损失，验证条件并数值展示线性收敛性。

实验结果

研究问题

• RQ1 在何种条件下，SCP ls算法对约束DC优化问题实现线性收敛？
• RQ2 在凸设置中，潜在函数与扩展目标函数的Kurdyka-Łojasiewicz（KL）假设之间有何关系？
• RQ3 在对约束函数施加额外假设的条件下，能否从拉格朗日函数推导出扩展目标函数的KL指数？
• RQ4 当将SCP ls应用于$σ_{1-2}$最小化问题并采用$Ø_2$或Lorentzian损失约束时，其收敛行为如何？
• RQ5 在实践中，如何高效求解SCP ls的子问题，特别是当涉及$σ_1$-范数正则化时？

主要发现

• 在较弱假设下，最小化$σ_1$并受逻辑斯蒂或泊松损失约束的扩展目标函数被证明是KL函数，其指数为$\frac{1}{2}$。
• 在凸设置中，通过额外的可微性与约束假设，可从拉格朗日函数推导出扩展目标函数的KL指数。
• 对于采用$Ø_2$或Lorentzian损失的$σ_{1-2}$最小化问题，数值实验表明SCP ls算法表现出线性收敛。
• 数值结果表明，与无线搜索的标准SCP相比，SCP ls收敛更快，且表现出线性收敛行为。
• 对于带有$σ_1$-范数正则化和二次约束的SCP ls子问题，可通过对偶根求解过程高效求解。
• 在KL假设下建立了理论收敛保证，其中非凸设置下的潜在函数与凸设置下的扩展目标函数是主要分析工具。