[论文解读] Parameter expansion in local-shrinkage models

James G. Scott|arXiv (Cornell University)|Oct 25, 2010

Bayesian Methods and Mixture Models参考文献 16被引用 12

一句话总结

本文研究了在局部收缩模型（如贝叶斯LASSO和 horseshoe 先验）中使用参数扩展（PX），以改善当全局方差接近零时的MCMC收敛性。尽管在这些稀疏模型中PX仅带来适度的改进（与在非稀疏高斯模型中表现出的强劲性能形成对比），本研究发现切片抽样（slice sampling）可实现相当的性能，并将PX的应用范围扩展至更广泛的模型。

ABSTRACT

This paper considers the problem of using MCMC to fit sparse Bayesian models based on normal scale-mixture priors. Examples of this framework include the Bayesian LASSO and the horseshoe prior. We study the usefulness of parameter expansion (PX) for improving convergence in such models, which is notoriously slow when the global variance component is near zero. Our conclusion is that parameter expansion does improve matters in LASSO-type models, but only modestly. In most cases this improvement, while noticeable, is less than what might be expected, especially compared to the improvements that PX makes possible for models very similar to those considered here. We give some examples, and we attempt to provide some intuition as to why this is so. We also describe how slice sampling may be used to update the global variance component. In practice, this approach seems to perform almost as well as parameter expansion. As a practical matter, however, it is perhaps best viewed not as a replacement for PX, but as a tool for expanding the class of models to which PX is applicable.

研究动机与目标

• 评估参数扩展（PX）是否在基于正态尺度混合先验的稀疏贝叶斯模型中显著改善MCMC收敛性。
• 理解为何PX在LASSO型模型中仅带来适度改进，而其在更简单的高斯模型中表现强劲。
• 探索替代的抽样策略（如切片抽样），用于更新全局方差分量。
• 评估切片抽样是否可作为PX在PX增益有限的模型中的实用替代或补充。
• 揭示局部收缩框架中PX效果有限的结构性原因，特别是由于局部收缩参数的存在。

提出的方法

• 通过用两个不可识别的分量Δ（标准正态）和g²（逆伽马分布）替换标准局部收缩模型中的全局尺度参数τ，引入了参数扩展（PX）版本的模型，使得τ = |Δ|g。
• 利用Δ与g在后验分布中的条件独立性，降低τ的自相关性，从而改善MCMC混合效率。
• 应用切片抽样来更新全局方差分量τ²，避免直接抽样导致的高自相关性问题。
• 推导出β_j、σ²、τ和局部收缩参数λ_j的联合后验条件分布，利用条件共轭性和层次结构。
• 在模拟数据中将PX吉布斯抽样器与标准抽样器进行比较，使用轨迹图和自相关函数评估收敛性。
• 证明在大多数先验下，对局部收缩参数λ_j进行边际化在τ更新中在计算上不可行，除非是特定族类（如超几何逆贝塔先验）的情况。

实验结果

研究问题

• RQ1 参数扩展（PX）是否在局部收缩模型（如贝叶斯LASSO和horseshoe先验）中显著改善MCMC收敛性？
• RQ2 为何PX在稀疏模型中仅带来适度改进，而其在非稀疏高斯模型中表现强劲？
• RQ3 切片抽样能否在这些模型中为全局方差分量τ提供相当或更优的收敛性？
• RQ4 局部收缩模型的哪些结构性特征限制了PX的效果，特别是由于局部收缩参数的存在？
• RQ5 构建一个‘λ-边际化’吉布斯抽样器（在更新τ时避免抽样λ_j）是否可行？其与标准方法相比表现如何？

主要发现

• 参数扩展（PX）在LASSO型模型中改善了MCMC收敛性，但仅带来适度改进，尽管其在更简单的高斯模型中表现强劲。
• PX的改进有限，是因为引入局部收缩参数λ_j破坏了非稀疏模型中实现显著PX增益的条件独立结构。
• 对全局方差τ²进行切片抽样，在收敛速度和自相关性降低方面几乎与PX表现相当。
• 切片抽样并非PX的直接替代品，但可将PX可有效应用的模型类别扩展至更广泛范围。
• 在大多数先验下，对λ_j在τ更新中进行边际化在计算上不可行，尽管在特定情况（如超几何逆贝塔族）下可行。
• 模拟结果表明，PX比标准吉布斯抽样更有效地降低τ的自相关性，但其增益远不如在非稀疏模型中显著。