[论文解读] Dirichlet-Laplace priors for optimal shrinkage

Anirban Bhattacharya, Debdeep Pati+2 more|arXiv (Cornell University)|Jan 21, 2014

Statistical Methods and Inference参考文献 26被引用 7

一句话总结

本文提出了狄利克雷-拉普拉斯（Dirichlet-Laplace, DL）先验——一种用于高维贝叶斯回归的新型全局-局部收缩先验类，可在稀疏高维模型下实现频率学派最小最大率的最优后验集中。通过利用归一化随机测度理论，DL先验在确保无关系数的最优收缩和精确不确定性量化的同时，实现了高效的后验计算。

ABSTRACT

Penalized regression methods, such as $L_1$ regularization, are routinely used in high-dimensional applications, and there is a rich literature on optimality properties under sparsity assumptions. In the Bayesian paradigm, sparsity is routinely induced through two-component mixture priors having a probability mass at zero, but such priors encounter daunting computational problems in high dimensions. This has motivated an amazing variety of continuous shrinkage priors, which can be expressed as global-local scale mixtures of Gaussians, facilitating computation. In sharp contrast to the frequentist literature, little is known about the properties of such priors and the convergence and concentration of the corresponding posterior distribution. In this article, we propose a new class of Dirichlet--Laplace (DL) priors, which possess optimal posterior concentration and lead to efficient posterior computation exploiting results from normalized random measure theory. Finite sample performance of Dirichlet--Laplace priors relative to alternatives is assessed in simulated and real data examples.

研究动机与目标

• 开发一类新的连续收缩先验，使其在高维稀疏模型下实现最优后验集中率。
• 克服现有两组分混合先验和连续收缩先验在高维设置下的计算与理论局限性。
• 为频率学派 $L_1$ 正则化（如套索）提供一个理论基础坚实的贝叶斯替代方案，实现最优收敛率。
• 通过与归一化随机测度理论的联系，实现高效的后验计算。
• 弥合贝叶斯收缩先验与频率学派最优性之间的差距，特别是在弱稀疏性假设下。

提出的方法

• 提出狄利克雷-拉普拉斯（DL）先验作为高斯的全局-局部尺度混合，其中局部尺度从狄利克雷分布中抽取，全局尺度从拉普拉斯先验中抽取。
• 采用分层结构，其中局部收缩参数从浓度参数为 $a$ 的对称狄利克雷分布中抽取，全局尺度则分配拉普拉斯先验。
• 利用归一化随机测度理论推导理论性质，包括后验集中性和收缩行为。
• 推导出先验在稀疏向量附近的集中性边界，并表明该先验通过连续收缩实现了有效维度降低。
• 通过分析先验的尾部行为并利用高斯混合的集中不等式，建立后验收缩率。
• 通过MCMC抽样验证计算效率，并通过模拟和真实数据研究展示其可扩展性。

实验结果

研究问题

• RQ1 能否构造一种连续收缩先验，使得在稀疏高维模型下，后验分布以最小最大率收缩？
• RQ2 如何设计先验，以在保持计算可处理性的同时实现对无关系数的最优收缩？
• RQ3 哪些理论条件可确保后验分布以最优速率集中在真实的稀疏参数向量附近？
• RQ4 所提出的狄利克雷-拉普拉斯先验与现有收缩先验相比，在后验集中性和计算效率方面表现如何？
• RQ5 归一化随机测度理论的使用能否为全局-局部收缩先验的集中性质分析提供统一框架？

主要发现

• 在弱稀疏性假设下，狄利克雷-拉普拉斯先验实现了后验集中率 $O(\tilde{q}_n \times \text{log}(n)/n)^{1/2}$，与频率学派 $L_1$ 正则化的最优率一致。
• 该先延通过将大多数系数收缩至零，同时允许少量大系数，实现了有效的维度降低，且非零分量的数量以大 $A$ 的 $A q_n$ 为条件随机有界。
• 在两种情形下建立了后验收缩：当 $q_n \to \text{const}$ 和当 $q_n \to \text{缓慢增长}$ 时，后验概率在真实参数的收缩邻域内收敛于1。
• 理论边界表明，先验在稀疏向量附近的集中性足够强，即对大多数 $i$ 有 $\text{Pr}(|\theta_i| > \tilde{\theta}_n) \to 0$，其中 $\tilde{\theta}_n$ 为最小最大率。
• 该方法通过吉布斯抽样实现了高效的后验计算，利用了全局-局部尺度混合结构的条件共轭性。
• 模拟和真实数据示例表明，DL先验在变量选择准确性和不确定性量化方面优于现有收缩先验。