[论文解读] Exact Penalty Methods for Non-Lipschitz Optimization

Xiaojun Chen, Zhaosong Lu+1 more|arXiv (Cornell University)|Sep 9, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用 1

一句话总结

本文提出了一种针对具有椭球约束的非Lipschitz、非凸优化问题的精确罚函数方法，采用带有自适应罚参数更新的邻近梯度算法。该方法建立了收敛至KKT点的理论，并在寻找稀疏解方面表现出有效性，推动了数据科学应用中非Lipschitz惩罚理论的发展。

ABSTRACT

This paper considers a class of constrained optimization problems with a possi-bly nonconvex non-Lipschitz objective and a certain ellipsoidal constraint. Such a problem has a wide range of applications in data science. The objective induces the sparsity of solutions and the constraint presents the noise tolerance condition for data fitting. While the penalty method is a common approach for constrained optimiza-tion, there is little theory and algorithms concerning exact penalization for problems with nonconvex non-Lipschitz objectives. In this paper, we study the existence of ex-act penalty parameters for this problem regarding local minimizers, stationary points and -minimizers under suitable assumptions. Moreover, we propose a penalty method whose subproblems are solved via a proximal gradient method, with an update scheme for the penalty parameters. We also prove the convergence of the algorithm to a KKT point of the constrained problem. Preliminary numerical results show the efficiency of the penalty method for finding sparse solutions.

研究动机与目标

• 为数据科学中出现的非Lipschitz、非凸优化问题的精确惩罚缺乏理论基础提供解决方案。
• 在适当假设下，建立局部极小化点、驻点和ε-极小化点的精确罚参数存在的理论依据。
• 设计一种收敛算法，通过带有自适应罚参数更新的邻近梯度方法求解子问题。
• 证明该算法收敛至原始约束问题的KKT点。
• 通过初步数值实验，展示该方法在计算稀疏解方面的高效性。

提出的方法

• 将罚函数方法应用于一类具有非Lipschitz、可能非凸目标函数及椭球约束的约束优化问题。
• 使用邻近梯度方法求解每个罚函数子问题，即使在非光滑情况下也能实现高效计算。
• 提出一种自适应罚参数更新策略，以确保收敛性和精确惩罚。
• 在适当条件下，建立局部极小化点和驻点存在精确罚参数的理论条件。
• 依赖于确保ε-极小化点存在精确罚参数以及KKT点收敛的假设。
• 通过利用罚函数形式和邻近迭代的性质，分析收敛至KKT点的过程。

实验结果

研究问题

• RQ1 在具有椭球约束的非Lipschitz、非凸优化问题中，局部极小化点的精确罚参数在何种条件下存在？
• RQ2 能否在该类问题中为驻点和ε-极小化点建立精确惩罚？
• RQ3 所提出的带有自适应罚参数更新的算法是否收敛至原始问题的KKT点？
• RQ4 该罚函数方法在数据科学应用中恢复稀疏解方面有多高效？
• RQ5 在非Lipschitz设置下，子问题求解器的收敛性可提供哪些理论保证？

主要发现

• 在适当假设下，本文证明了局部极小化点、驻点和ε-极小化点存在精确罚参数。
• 所提出的算法收敛至原始约束优化问题的KKT点。
• 带有自适应罚参数更新的邻近梯度方法能有效求解罚函数子问题。
• 初步数值结果证实了该方法在识别稀疏解方面的高效性。
• 理论框架将精确惩罚推广至具有实际数据拟合约束的非Lipschitz、非凸设置。
• 该方法为解决数据科学中出现的稀疏优化问题提供了具有收敛性保证的可行途径。