[论文解读] Convex vs nonconvex approaches for sparse estimation: GLasso, Multiple Kernel Learning and Hyperparameter GLasso

Aleksandr Y. Aravkin, James V. Burke+2 more|arXiv (Cornell University)|Feb 26, 2013

Statistical Methods and Inference参考文献 34被引用 5

一句话总结

本文提出了一种基于层次贝叶斯模型中边际似然最大化而非凸稀疏估计框架，与Group Lasso和Multiple Kernel Learning等凸方法形成对比。结果表明，通过经验贝叶斯方法优化超参数，该非凸方法（称为超参数GLasso，HGLasso）在低噪声条件下能实现更优的稀疏性和对噪声的鲁棒性，理论上收敛至对ℓ₀范数更紧密的逼近。

ABSTRACT

The popular Lasso approach for sparse estimation can be derived via marginalization of a joint density associated with a particular stochastic model. A different marginalization of the same probabilistic model leads to a different non-convex estimator where hyperparameters are optimized. Extending these arguments to problems where groups of variables have to be estimated, we study a computational scheme for sparse estimation that differs from the Group Lasso. Although the underlying optimization problem defining this estimator is non-convex, an initialization strategy based on a univariate Bayesian forward selection scheme is presented. This also allows us to define an effective non-convex estimator where only one scalar variable is involved in the optimization process. Theoretical arguments, independent of the correctness of the priors entering the sparse model, are included to clarify the advantages of this non-convex technique in comparison with other convex estimators. Numerical experiments are also used to compare the performance of these approaches.

研究动机与目标

• 阐明非凸稀疏估计相较于Group Lasso和Multiple Kernel Learning等凸方法在理论和实践上的优势。
• 在统一的贝叶斯框架下整合Lasso、Group Lasso、Multiple Kernel Learning以及指数超先验（HGLasso）。
• 提出一种避免凸松弛局限性的同时保持计算可行性的非凸优化方案，用于组稀疏估计。
• 建立HGLasso估计器的理论收敛性，证明其收敛至更优逼近ℓ₀范数的解，尤其在低噪声条件下。
• 通过数值实验对方法进行实证验证，比较其在稀疏性、估计精度和对噪声鲁棒性方面的表现。

提出的方法

• 在层次贝叶斯模型中构建稀疏估计，其中超参数通过边际似然最大化（经验贝叶斯）进行估计。
• 将HGLasso估计器推导为Group Lasso的非凸替代方法，源于同一联合密度的不同边际化方式。
• 引入一种单变量贝叶斯前向选择方案用于初始化，使仅含一个标量变量的非凸优化成为可能。
• 提出一个关键优化问题：最小化包含超参数的逆和对数项的非凸目标函数，并引入惩罚项γλ。
• 利用隐函数定理和概率收敛性论证，证明HGLasso估计器的渐近一致性。
• 分析KKT条件及稀疏性与收缩之间的权衡，表明非凸方法相比凸方法能实现更紧密的ℓ₀逼近。

实验结果

研究问题

• RQ1 HGLasso估计器在稀疏性和估计精度方面相较于Group Lasso和Multiple Kernel Learning等凸方法有何差异？
• RQ2 非凸方法在逼近ℓ₀范数方面具有哪些理论优势，特别是在低噪声条件下？
• RQ3 单变量初始化策略是否能有效稳定并提升高维组稀疏模型中非凸稀疏估计的性能？
• RQ4 HGLasso估计器的渐近行为如何？在正则性条件下是否收敛至有意义的解？
• RQ5 考虑到其经验贝叶斯公式，HGLasso方法对模型误设或先验错误的鲁棒性如何？

主要发现

• 当γ > 0时，HGLasso估计器以概率收敛至一个严格小于Group Lasso估计值的解，表明其稀疏性得到改善。
• 在低噪声条件下，HGLasso估计器对ℓ₀范数的逼近优于凸方法，理论与数值证据均支持此结论。
• 在正则性条件下，估计器可收敛至真实稀疏解，其极限值取决于正则化参数γ。
• 当真实信号为零时，无论γ取值如何，HGLasso估计器均以概率收敛至零，确保在零信号情形下正确实现稀疏恢复。
• 即使先验误设，非凸方法在对噪声的鲁棒性方面仍优于凸方法。
• 理论分析表明，HGLasso目标函数在极限下为严格凸，因此在弱条件下可保证唯一最小值点。