[论文解读] Bayesian Variable Selection and Estimation Based on Global-Local Shrinkage Priors

Xueying Tang, Xiaofan Xu+2 more|arXiv (Cornell University)|May 25, 2016

Statistical Methods and Inference被引用 4

一句话总结

该论文提出了一种基于全局-局部收缩先验的贝叶斯变量选择方法，通过判断后验均值与OLS估计比值是否超过1/2来选择变量。在正交设计及多项式尾部局部先验下，该方法实现了Oracle性质——同时保证变量选择一致性和最优估计速率。

ABSTRACT

In this paper, we consider Bayesian variable selection problem of linear regression model with global-local shrinkage priors on the regression coefficients. We propose a variable selection procedure that select a variable if the ratio of the posterior mean to the ordinary least square estimate of the corresponding coefficient is greater than $1/2$. Under the assumption of orthogonal designs, we show that if the local parameters have polynomial-tailed priors, our proposed method enjoys the oracle property in the sense that it can achieve variable selection consistency and optimal estimation rate at the same time. However, if, instead, an exponential-tailed prior is used for the local parameters, the proposed method does not have the oracle property.

研究动机与目标

• 开发一种贝叶斯变量选择程序，以在高维线性回归中同时实现变量选择与系数估计。
• 通过基于后验均值与OLS估计比值的阈值规则，解决收缩先验在产生精确零估计方面的局限性。
• 建立理论条件，以证明所提方法在何种情况下可实现Oracle性质——即变量选择一致性和最优估计速率。
• 比较多项式尾部与指数尾部局部先验在实现Oracle性质方面的性能差异。
• 扩展对基于收缩的变量选择在贝叶斯框架下理论理解的认识，特别是与自适应Lasso和spike-and-slab先验的关系。

提出的方法

• 提出变量选择规则：若 $\frac{\mathbb{E}[\beta_i \mid \mathbf{Y}]}{\hat{\beta}_i^{\text{OLS}}} > \frac{1}{2}$，则包含变量 $i$，其中 $\hat{\beta}_i^{\text{OLS}}$ 为普通最小二乘估计。
• 在回归系数上使用全局-局部收缩先验，包含全局超参数 $\tau_n$ 和局部超参数 $\lambda_i$。
• 通过后验包含概率的比值 $\tilde{S}_n^{(i)}$ 分析其渐近行为，该比值源自包含变量 $i$ 的后验似然比。
• 对局部尺度参数采用逆高斯分布，以推导后验包含概率的解析表达式。
• 在正交设计下进行渐近分析，假设当 $n \to \infty$ 时，$n^2\tau_n \to \infty$，$c$，或 $0$，以研究收敛性质。
• 利用逆高斯分布的CDF函数及尾部近似，推导后验包含似然比 $\tilde{S}_n^{(i)}$ 的极限行为。

实验结果

研究问题

• RQ1 基于全局-局部收缩先验的贝叶斯变量选择程序能否实现Oracle性质——即同时具备选择一致性和最优估计速率？
• RQ2 局部先验的尾部行为（多项式 vs. 指数）如何影响所提方法的Oracle性质？
• RQ3 所提出的基于后验均值与OLS估计比值的阈值规则，在正交设计下是否能实现一致的变量选择？
• RQ4 当局部先验为多项式尾部与指数尾部时，后验包含概率的渐近行为有何差异？
• RQ5 超参数 $\tau_n$ 的选择如何影响后验包含似然比的收敛性以及最终的选择一致性？

主要发现

• 在正交设计及多项式尾部局部先验下，所提方法实现了Oracle性质：变量选择具有一致性，并达到最优的 $\sqrt{n}$ 估计速率。
• 当使用指数尾部局部先验时，该方法无法实现Oracle性质，表明局部先验的尾部厚度对理论性能至关重要。
• 在所有考虑的 $n^2\tau_n$ 渐近尺度下，后验包含似然比 $\tilde{S}_n^{(i)}$ 以概率趋于无穷，表明对非零系数的后验集中程度极强。
• 对于非零系数，有 $\sqrt{n}\tilde{S}_n^{(i)} \overset{p}{\to} \infty$，这支持了真正相关变量被一致包含的结论。
• $\tilde{S}_n^{(i)}$ 的极限行为取决于 $n^2\tau_n$ 的渐近情形，但在所有情况下，非零系数的后验包含概率均收敛至1。
• 该方法的理论性能对局部先验的尾部行为敏感：仅多项式尾部能实现Oracle性质，而指数尾部则不能。