[论文解读] Bayesian shrinkage

Anirban Bhattacharya, Debdeep Pati+2 more|arXiv (Cornell University)|Dec 25, 2012

Statistical Methods and Inference参考文献 19被引用 17

一句话总结

本文提出狄利克雷拉普拉斯（Dirichlet Laplace, DL）先验作为高维贝叶斯回归中一类新的连续收缩先验，证明其在后验集中和计算效率方面具有最优性。与常见的贝叶斯Lasso等先验不同，DL先验在稀疏性条件下可实现最优的频率学最小最大率，且通过归一化随机测度理论实现可扩展的计算。

ABSTRACT

Penalized regression methods, such as $L_1$ regularization, are routinely used in high-dimensional applications, and there is a rich literature on optimality properties under sparsity assumptions. In the Bayesian paradigm, sparsity is routinely induced through two-component mixture priors having a probability mass at zero, but such priors encounter daunting computational problems in high dimensions. This has motivated an amazing variety of continuous shrinkage priors, which can be expressed as global-local scale mixtures of Gaussians, facilitating computation. In sharp contrast to the corresponding frequentist literature, very little is known about the properties of such priors. Focusing on a broad class of shrinkage priors, we provide precise results on prior and posterior concentration. Interestingly, we demonstrate that most commonly used shrinkage priors, including the Bayesian Lasso, are suboptimal in high-dimensional settings. A new class of Dirichlet Laplace (DL) priors are proposed, which are optimal and lead to efficient posterior computation exploiting results from normalized random measure theory. Finite sample performance of Dirichlet Laplace priors relative to alternatives is assessed in simulations.

研究动机与目标

• 为解决高维贝叶斯回归中连续收缩先验的理论理解不足问题。
• 识别并修正广泛使用的收缩先验（如贝叶斯Lasso）在稀疏性条件下的次优性。
• 提出一类新先验——狄利克雷拉普拉斯（DL）先验，实现最优后验集中和频率学最小最大率。
• 通过与归一化随机测度理论的联系，实现后验计算的高效性。
• 评估DL先验相对于现有收缩方法的有限样本性能。

提出的方法

• 提出一个广义的全局-局部尺度混合先验类，作为诱导稀疏性的两组分混合先验的连续类比。
• 利用高维渐近理论中的理论工具，分析先验和后验集中性质。
• 基于狄利克雷分布的局部收缩尺度，提出狄利克雷拉普拉斯（DL）先验，确保最优集中率。
• 利用归一化随机测度理论的结果，实现后验分布的高效MCMC计算。
• 推导出收缩先验在高维稀疏模型中实现最小最大最优后验集中的理论条件。
• 通过模拟研究，比较DL先验与贝叶斯Lasso及其他连续收缩先验的有限样本性能。

实验结果

研究问题

• RQ1 在高维稀疏模型中，常用的连续收缩先验（如贝叶斯Lasso）是否能实现最优后验集中？
• RQ2 能否构造一类新的收缩先验，使其在稀疏性条件下实现最小最大最优后验集中率？
• RQ3 狄利克雷拉普拉斯先验相较于现有收缩先验，在理论和计算方面具有哪些优势？
• RQ4 在有限样本设置下，DL先验的性能如何与替代方法比较？
• RQ5 是否可利用归一化随机测度理论，实现复杂收缩先验的可扩展计算？

主要发现

• 大多数常用的收缩先验（包括贝叶斯Lasso）在高维设置下次优，因其后验集中不足。
• 所提出的狄利克雷拉普拉斯（DL）先验实现了最优后验集中率，与稀疏性条件下的最小最大最优频率学率一致。
• DL先验通过在局部收缩尺度上使用狄利克雷分布构造，既保证理论最优性，又实现计算可扩展性。
• 理论分析表明，即使预测变量数量随样本量增长，DL先验仍能实现最优后验集中率。
• 有限样本模拟表明，DL先验在估计精度和变量选择方面优于贝叶斯Lasso及其他连续收缩先验。
• 通过利用归一化随机测度的性质，DL先验的后验计算得以高效实现，使其在高维场景中具备实际可实施性。