[论文解读] GEP-MSCRA for computing the group zero-norm regularized least squares estimator

Shujun Bi, Shaohua Pan|arXiv (Cornell University)|Apr 26, 2018

Sparse and Compressive Sensing Techniques参考文献 7被引用 3

一句话总结

该论文提出GEP-MSCRA，一种通过MPEC的全局精确罚 reformulation 计算组零范数正则化最小二乘估计器的多阶段凸松弛算法。在受限强凸性条件下建立了理论保证，并在合成和真实多任务学习数据上，相较于SLEP和MALSAR，展现出更低的预测误差和更强的组稀疏性。

ABSTRACT

This paper concerns with the group zero-norm regularized least squares estimator which, in terms of the variational characterization of the zero-norm, can be obtained from a mathematical program with equilibrium constraints (MPEC). By developing the global exact penalty for the MPEC, this estimator is shown to arise from an exact penalization problem that not only has a favorable bilinear structure but also implies a recipe to deliver equivalent DC estimators such as the SCAD and MCP estimators. We propose a multi-stage convex relaxation approach (GEP-MSCRA) for computing this estimator, and under a restricted strong convexity assumption on the design matrix, establish its theoretical guarantees which include the decreasing of the error bounds for the iterates to the true coefficient vector and the coincidence of the iterates after finite steps with the oracle estimator. Finally, we implement the GEP-MSCRA with the subproblems solved by a semismooth Newton augmented Lagrangian method (ALM) and compare its performance with that of SLEP and MALSAR, the solvers for the weighted $\ell_{2,1}$-norm regularized estimator, on synthetic group sparse regression problems and real multi-task learning problems. Numerical comparison indicates that the GEP-MSCRA has significant advantage in reducing error and achieving better sparsity than the SLEP and the MALSAR do.

研究动机与目标

• 开发一种计算上可行的方法，用于组零范数正则化最小二乘估计器，该估计器由于非凸零范数的存在而具有组合复杂性。
• 建立来自零范数变分表征的MPEC的全局精确罚重 formulation，实现具有有利双线性结构的精确罚。
• 提出一种多阶段凸松弛方法（GEP-MSCRA），可生成与SCAD和MCP等DC估计器等价的解，并具备理论收敛保证。
• 通过合成和真实多任务学习问题的实证验证，证明GEP-MSCRA在预测精度和组稀疏性方面优于SLEP和MALSAR。

提出的方法

• 利用零范数的变分表征，将组零范数正则化最小二乘估计器重 formulation 为带等式约束的数学规划问题（MPEC）。
• 为MPEC开发全局精确罚，将非凸问题转化为具有有利双线性结构的单个非凸规划问题。
• 提出GEP-MSCRA，一种多阶段凸松弛算法，通过迭代求解由精确罚 formulation 衍生出的凸子问题。
• 使用半光滑牛顿增广拉格朗日法（ALM）求解每个子问题，以实现高精度和快速收敛。
• 利用精确罚问题与SCAD和MCP等DC估计器之间的联系，通过松弛实现等价解。
• 在数值实验中采用热启动策略，以先前λ值的解初始化每个λ-问题，以提升效率。

实验结果

研究问题

• RQ1 组零范数正则化最小二乘估计器能否被重 formulation 为全局精确罚问题，以实现高效计算？
• RQ2 在受限强凸性条件下，所提出的GEP-MSCRA算法是否能实现理论收敛至Oracle估计器？
• RQ3 在合成和真实多任务学习问题中，GEP-MSCRA在预测误差和组稀疏性方面与SLEP和MALSAR相比表现如何？
• RQ4 GEP-MSCRA的性能在多大程度上依赖于初始化？与MALSAR对热启动的依赖性相比如何？
• RQ5 精确罚 formulation 是否能统一SCAD和MCP估计器的计算？

主要发现

• 当MALSAR未使用热启动时，GEP-MSCRA的预测误差至少降低20%，即使在使用热启动时，其性能也与MALSAR持平或更优。
• 随着训练样本量的增加，GEP-MSCRA的预测误差持续下降，而MALSAR的误差则增加或无法改善，尤其在仅使用35%数据进行训练时更为明显。
• 在所有测试的训练样本量下，GEP-MSCRA均能实现组稀疏性，且活跃组数少于5个，而MALSAR在相同条件下无法生成组稀疏解。
• GEP-MSCRA的解对初始化具有鲁棒性，即使从$x^0 = 0$开始，其性能也不会下降，而MALSAR则严重依赖热启动。
• 在受限强凸性条件下，GEP-MSCRA的迭代序列误差界逐渐减小并最终在有限步内与Oracle估计器一致。
• 精确罚 formulation 揭示了SCAD和MCP估计器也源于同一全局精确罚框架，从而建立了统一的计算与理论基础。