[论文解读] A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems

Peipei Tang, Chengjing Wang+2 more|arXiv (Cornell University)|Mar 27, 2019

Sparse and Compressive Sensing Techniques参考文献 42被引用 7

一句话总结

本文提出了一种基于稀疏半光滑牛顿法的近似极大化-极小化（PMM）算法，用于求解高维非凸平方根损失回归问题。通过利用Kurdyka-Łojasiewicz性质以及针对子问题的专用半光滑牛顿法，该算法收敛至d-稳定点，并在数值实验中表现出高效率，在无需事先知晓噪声方差的情况下，于大规模稀疏回归任务中表现优异。

ABSTRACT

In this paper, we consider high-dimensional nonconvex square-root-loss regression problems and introduce a proximal majorization-minimization (PMM) algorithm for these problems. Our key idea for making the proposed PMM to be efficient is to develop a sparse semismooth Newton method to solve the corresponding subproblems. By using the Kurdyka-Łojasiewicz property exhibited in the underlining problems, we prove that the PMM algorithm converges to a d-stationary point. We also analyze the oracle property of the initial subproblem used in our algorithm. Extensive numerical experiments are presented to demonstrate the high efficiency of the proposed PMM algorithm.

研究动机与目标

• 为解决高维非凸平方根损失回归问题的挑战，传统凸方法（如Lasso或平方根Lasso）因未知噪声方差而失效。
• 开发一种高效的一阶方法，避免预先估计噪声水平，同时在高维设置下保持鲁棒性和稀疏性。
• 通过引入专用的子问题求解器，克服现有方法（如ADMM）在大规模非凸平方根问题上的计算低效性。
• 基于Kurdyka-Łojasiewicz性质，建立全局收敛至d-稳定点的理论，并证明初始子问题的oracle性质。

提出的方法

• 该算法采用近似极大化-极小化（PMM）框架，通过一系列凸代理函数迭代逼近非凸平方根损失函数。
• PMM框架中的每个子问题均通过稀疏半光滑牛顿法求解，该方法利用了平方根损失的分段光滑结构以及解的稀疏性。
• 通过利用非凸正则化项的d.c.（凸函数之差）表示形式，实现高效的极大化与子问题求解。
• 引入线搜索策略，确保每次迭代中目标函数的充分下降，从而增强收敛稳定性。
• 通过利用设计矩阵与解路径中的稀疏性，该算法被设计用于处理大规模问题。
• 在Kurdyka-Łojasiewicz性质成立的前提下，证明了算法收敛至d-稳定点，该性质适用于底层的非凸优化问题。

实验结果

研究问题

• RQ1 近似极大化-极小化框架能否被有效适配于未知噪声方差的非凸平方根损失回归问题？
• RQ2 如何设计并集成一种稀疏半光滑牛顿法，以高效求解PMM框架中的子问题？
• RQ3 在标准假设（如Kurdyka-Łojasiewicz性质）下，所提算法是否能收敛至有意义的稳定点（即d-稳定点）？
• RQ4 初始子问题的oracle性质是什么？它在高维设置下如何影响最终解的质量？
• RQ5 在大规模非凸平方根回归问题中，所提算法相较于ADMM和APG等现有方法，在效率与精度方面表现如何？

主要发现

• 所提PMM算法在Kurdyka-Łojasiewicz性质下收敛至d-稳定点，确保在非凸设置下收敛至临界解。
• 该算法具有高计算效率，在求解大规模非凸平方根回归问题时优于ADMM。
• 算法中使用的初始子问题表现出oracle性质，即在适当条件下可正确识别稀疏解的真实支撑集。
• 数值实验表明，该算法对噪声具有鲁棒性，即使在噪声方差未知或估计不佳时仍表现良好。
• 将稀疏半光滑牛顿法集成至PMM框架显著加快了收敛速度，尤其在高维情形下优势明显。
• 该方法在解路径中保持了强稀疏性，并在估计精度与变量选择方面实现了近乎oracle的表现。