[论文解读] A globally and linearly convergent PGM for zero-norm regularized quadratic optimization with sphere constraint

Yuqia Wu, Shaohua Pan+1 more|arXiv (Cornell University)|Nov 11, 2018

Sparse and Compressive Sensing Techniques参考文献 14被引用 1

一句话总结

本文提出了一种全局线性收敛的近端梯度法（PGM），用于在球面约束下求解零范数正则化二次优化问题，该方法利用了指数为1/2的Kurdyka-Łojasiewicz（KL）性质。该方法可确保在稀疏主成分分析（PCA）中收敛到稀疏解，且在合成数据和真实数据上均通过数值实验得到验证。

ABSTRACT

This paper is concerned with the zero-norm regularized quadratic optimization with a sphere constraint, which has an important application in sparse eigenvalue problems. For this class of nonconvex and nonsmooth optimization problems, we establish the KL property of exponent 1/2 for its extended-valued objective function and develop a globally and linearly convergent proximal gradient method (PGM). Numerical experiments are included for sparse principal component analysis (PCA) with synthetic and real data to confirm the obtained theoretic results.

研究动机与目标

• 为解决带有球面约束的非凸、非光滑零范数正则化二次优化问题的挑战。
• 建立该问题类中扩展值目标函数的Kurdyka-Łojasiewicz（KL）性质，指数为1/2。
• 设计一种近端梯度法（PGM），以保证全局收敛且具有线性收敛速率。
• 将该方法应用于稀疏特征值问题，特别是稀疏主成分分析（PCA）。

提出的方法

• 理论分析证明，零范数正则化问题的扩展值目标函数满足指数为1/2的KL性质。
• 基于零范数项的近端算子和球面约束，设计了一种近端梯度法（PGM）。
• PGM通过求解包含二次项和零范数正则化项的子问题，迭代更新解。
• 利用KL性质进行收敛性分析，从而建立全局收敛且具有线性速率的结论。
• 通过引入球面约束，将该算法适配于稀疏PCA，以强制实现单位范数解。
• 数值实现中采用类似软阈值化的步骤，以处理近端更新中零范数的近似。

实验结果

研究问题

• RQ1 带有球面约束的零范数正则化二次优化问题是否满足指数为1/2的Kurdyka-Łojasiewicz（KL）性质？
• RQ2 能否设计一种近端梯度法，使其在该非凸、非光滑问题上实现全局且线性收敛？
• RQ3 所提出的PGM在合成数据和真实世界数据的稀疏PCA任务中实际表现如何？
• RQ4 该方法线性收敛速率的理论依据是什么？

主要发现

• 带有球面约束的零范数正则化二次优化问题的扩展值目标函数满足指数为1/2的KL性质。
• 所提出的近端梯度法（PGM）在满足KL条件的前提下，实现了全局收敛且具有线性收敛速率。
• 在合成数据和真实数据上的数值实验验证了方法的线性收敛速率及其在稀疏PCA中的有效性。
• 该方法成功识别出稀疏主成分，展示了其在降维和特征选择中的实际应用价值。