[论文解读] A Hierarchical Bayesian Framework for Constructing Sparsity-inducing Priors

Anthony Lee, François Caron+2 more|arXiv (Cornell University)|Sep 9, 2010

Statistical Methods and Inference参考文献 21被引用 37

一句话总结

本文提出了一种分层贝叶斯框架，为高维回归中的变量选择构建诱导稀疏性的先验分布，通过EM算法实现MAP估计，该方法推广并为自适应及迭代重加权$β$-范数惩罚方法提供了贝叶斯解释。主要贡献在于一种灵活且基于先验信息的方法，相比标准Lasso，能提高估计精度并减少偏差。

ABSTRACT

Variable selection techniques have become increasingly popular amongst statisticians due to an increased number of regression and classification applications involving high-dimensional data where we expect some predictors to be unimportant. In this context, Bayesian variable selection techniques involving Markov chain Monte Carlo exploration of the posterior distribution over models can be prohibitively computationally expensive and so there has been attention paid to quasi-Bayesian approaches such as maximum a posteriori (MAP) estimation using priors that induce sparsity in such estimates. We focus on this latter approach, expanding on the hierarchies proposed to date to provide a Bayesian interpretation and generalization of state-of-the-art penalized optimization approaches and providing simultaneously a natural way to include prior information about parameters within this framework. We give examples of how to use this hierarchy to compute MAP estimates for linear and logistic regression as well as sparse precision-matrix estimates in Gaussian graphical models. In addition, an adaptive group lasso method is derived using the framework.

研究动机与目标

• 开发一个统一的贝叶斯框架，为高维变量选择中使用的最先进惩罚优化方法提供原则性解释。
• 通过分层先验引入自适应、非凸惩罚，减少稀疏回归中的估计偏差，尤其改进标准Lasso。
• 在一致的概率结构中自然地整合关于系数的先验知识以及变量分组信息。
• 在单一分层先验框架内推广组Lasso与自适应Lasso方法。
• 通过EM算法提供计算上可行的MAP估计过程，其对应于迭代重加权$β$-范数最小化。

提出的方法

• 该方法使用分层先验，其中每个系数$\beta_j$边缘分布为正态分布的尺度混合，局部方差$\sigma_j^2$从广义逆高斯（GIG）分布中抽取。
• 通过分层结构构建$\bm{\beta}$的联合先验：$\beta_j | \sigma_j^2 \sim N(0, \sigma_j^2)$，且$\sigma_j^2$服从具有超参数$a_j, b_j$的GIG分布。
• 该层次结构在MAP估计中诱导出非凸且促进稀疏性的惩罚，当$q=1$时等价于重加权$\ell_1$-范数或自适应Lasso。
• 推导出一种期望最大化（EM）算法，迭代更新$\bm{\beta}$和权重$w_j^{(t)} = (a_j + 1)/(b_j + |\beta_j^{(t)}|)$，从而实现迭代重加权$\ell_1$-最小化。
• 通过为系数组分配共享的超参数，该框架自然扩展至组稀疏性，支持自适应组Lasso。
• 对于高斯图模型，该方法将相同层次结构应用于精度矩阵元素，得到一个在$\Omega_{ij}$上具有自适应$\ell_1$-惩罚的MAP估计器。

实验结果

研究问题

• RQ1 分层贝叶斯框架能否为自适应Lasso和迭代重加权$\ell_1$-最小化等流行惩罚优化方法提供统一的贝叶斯解释？
• RQ2 如何在诱导稀疏性的先验中自然地整合关于系数或变量分组的先验信息？
• RQ3 所提出的分层先验是否在误报率和漏报率方面相比标准Lasso显著提升变量选择性能？
• RQ4 该框架能否扩展至高斯图模型中具有自适应惩罚的稀疏精度矩阵估计？
• RQ5 超参数选择（如$a_j, b_j$）对估计精度和模型选择一致性有何影响？

主要发现

• 在$n=80$的逻辑回归中，超参数为$(a,b)=(2,0.5)$的HAL达到99.2%的正确模型选择率，而标准Lasso仅为62.1%。
• 当超参数为$(a,b)=(2,0.1)$且$a_2=b_2=a_5=b_5=2$时，HAL表现极差（0%正确），凸显性能对超参数选择的敏感性。
• 在$n=40$的高斯图模型中，超参数为$(a,b)=(1,0.075)$的HAL平均误差为2.594，正确边恢复率为65.4%，优于Lasso的4.676平均误差和23.9%正确恢复率。
• 通过调优超参数以平衡误报与漏报（如$(a,b)=(1,0.075)$），HAL显著降低了误差与误分类率，相比Lasso表现更优。
• 该方法成功通过分层框架推导出自适应组Lasso，实现组内收缩并提升模型选择性能。
• 从层次结构导出的EM算法与迭代重加权$\ell_1$-最小化算法完全一致，为这一广泛使用的启发式方法提供了贝叶斯合理性解释。