[论文解读] Generalized Beta Mixtures of Gaussians

Artin Armagan, David B. Dunson+1 more|arXiv (Cornell University)|Jul 25, 2011

Bayesian Methods and Mixture Models参考文献 23被引用 68

一句话总结

本文提出了一种广义贝塔高斯混合框架，统一并扩展了诸如 horseshoe 和广义双帕累托等流行收缩先验。通过将方差建模为具有广义贝塔先验的逆伽马混合，该方法实现了高效的变分贝叶斯推断，在高维稀疏回归中性能优于套索，尤其在强稀疏性和先验调优全局收缩时表现更优。

ABSTRACT

In recent years, a rich variety of shrinkage priors have been proposed that have great promise in addressing massive regression problems. In general, these new priors can be expressed as scale mixtures of normals, but have more complex forms and better properties than traditional Cauchy and double exponential priors. We first propose a new class of normal scale mixtures through a novel generalized beta distribution that encompasses many interesting priors as special cases. This encompassing framework should prove useful in comparing competing priors, considering properties and revealing close connections. We then develop a class of variational Bayes approximations through the new hierarchy presented that will scale more efficiently to the types of truly massive data sets that are now encountered routinely.

研究动机与目标

• 开发一个统一的层次先验框架，涵盖并连接诸如 horseshoe 和广义双帕累托等多样化的收缩先验。
• 通过推导支持快速变分贝叶斯近似的共轭层次结构，实现在大规模数据设置下的高效计算。
• 通过结合诱导稀疏性的特性与重尾行为，减少对大信号的偏差，从而提高高维回归中的估计精度。
• 通过全局收缩参数提供一种合理控制模型稀疏性的方法，尤其在 $p \gg n$ 设置下。
• 证明基于新层次结构的变分贝叶斯近似在性能上接近 MCMC，同时可高效扩展至大规模数据集。

提出的方法

• 提出一种层次先验，其中回归系数 $\theta_j$ 服从精度为 $\tau_j$ 的正态分布，且 $\tau_j^{-1}$ 服从由广义贝塔分布抽取超参数的逆伽马分布。
• 通过为全局尺度参数使用广义贝塔分布，推导出等价的共轭层次结构，从而支持 Gibbs 采样中的闭式条件后验。
• 通过利用共轭结构开发变分贝叶斯近似，实现在大规模设置下的可扩展推断。
• 引入一个控制整体稀疏水平的全局收缩参数 $\phi$，并使用 $\mathbb{P}(\rho_j > 0.5)$ 在先验基础上根据期望模型大小校准 $\phi$。
• 采用变换 $\rho_j = 1/(1 + \tau_j)$ 重新参数化模型，以促进解释性和计算效率。
• 采用两阶段方法：首先运行 Gibbs 采样以获得后验估计，然后使用这些结果初始化变分贝叶斯，以提升收敛性和准确性。

实验结果

研究问题

• RQ1 如何在单一层次框架下统一诸如 horseshoe 和广义双帕累托等多样化的收缩先验？
• RQ2 能否为复杂收缩先验推导出共轭层次结构，以支持高效的 MCMC 和变分推断？
• RQ3 基于新层次结构的变分贝叶斯近似在高维稀疏回归中的性能与 MCMC 和套索相比如何？
• RQ4 全局收缩参数 $\phi$ 在控制稀疏性方面起什么作用？在 $p \gg n$ 设置下应如何校准？
• RQ5 所提出的框架是否在估计精度上优于套索，特别是在强稀疏性和重尾信号分布的情况下？

主要发现

• 所提出的广义贝塔高斯混合框架在单一层次结构下统一了包括 horseshoe 和广义双帕累托在内的多种收缩先验。
• 基于共轭层次结构的变分贝叶斯近似在估计精度上非常接近 MCMC，且推理仅耗时 80 秒，而 Gibbs 采样需 2.4 小时。
• 该方法在模拟案例中显著优于套索，尤其在 Case 2（稀疏性更高）时表现更优，得益于更好的尾部行为和自适应收缩。
• 设定 $b = 1/2$ 可产生柯西型尾部，从而在有效缩小噪声类信号至零的同时，减少对大信号的偏差。
• 基于期望稀疏性（例如 $\mathbb{P}(\rho_j > 0.5) = 0.99$）先验固定 $\phi$，在 $p = 10,000$ 且 $n = 100$ 的高维设置下显著提升性能。
• 变分贝叶斯的后验均值与 Gibbs 采样的结果高度一致，证实了该近似在识别真实非零信号方面的可靠性。