[论文解读] High Dimensional Linear Regression via the R2-D2 Shrinkage Prior

Yan Zhang, Brian J. Reich+1 more|arXiv (Cornell University)|Aug 31, 2016

Bayesian Methods and Mixture Models参考文献 23被引用 11

一句话总结

本文提出了一种用于高维线性回归的R2-D2收缩先验，其在决定系数上设定Beta先验，并通过Dirichlet先验分解总方差。该先验在现有收缩先验中具有最快趋近于零的集中速率和最重的尾部，从而实现Kullback-Leibler超效率的后验收敛，并支持计算上可处理的Gibbs抽样。

ABSTRACT

We propose a new class of priors for linear regression, the R-square induced Dirichlet Decomposition (R2-D2) prior. The prior is induced by a Beta prior on the coefficient of determination, and then the total prior variance of the regression coefficients is decomposed through a Dirichlet prior. We demonstrate both theoretically and empirically the advantages of the R2-D2 prior over a number of common shrink- age priors, including the Horseshoe, Horseshoe+, and Dirichlet-Laplace priors. The R2-D2 prior possesses the fastest concentration rate around zero and heaviest tails among these common shrinkage priors, which is established based on its marginal density, a Meijer G-function. We show that its Bayes estimator converges to the truth at a Kullback-Leibler super-efficient rate, attaining a sharper information theoretic bound than existing common shrinkage priors. We also demonstrate that the R2-D2 prior yields a consistent posterior. The R2-D2 prior permits straightforward Gibbs sampling and thus enjoys computational tractability. The proposed prior is further investigated in a mouse gene expression application.

研究动机与目标

• 为解决现有收缩先验在高维线性回归中尾部行为和趋近零集中性方面的局限性。
• 开发一种能够实现更快后验集中和改进的频率学风险性质的先验。
• 通过条件共轭的Gibbs抽样方案确保计算上的可处理性。
• 在Kullback-Leibler散度下建立理论一致性和收敛速率。
• 在模拟和真实数据中，通过实证比较证明其优于Horseshoe、Horseshoe+和Dirichlet-Laplace先验。

提出的方法

• 通过在决定系数（R²）上设定Beta先验来构建R2-D2先验，该先验控制回归系数的总体方差。
• 利用Dirichlet先验将总方差分解至各系数，实现对每个系数收缩程度的灵活分配。
• 通过Meijer G函数推导回归系数的边缘先验密度，从而支持对尾部行为和集中性质的理论分析。
• 通过利用条件共轭性，实现简便的Gibbs抽样，确保计算效率。
• 通过边缘密度和后验集中速率的分析，建立理论性质。
• 通过模拟研究和一个真实的小鼠基因表达数据集对方法进行验证。

实验结果

研究问题

• RQ1 在高维设置下，R2-D2先验是否比现有收缩先验具有更快的趋近于零的集中速率？
• RQ2 R2-D2先验能否实现Kullback-Leibler超效率的后验收敛速率？
• RQ3 在正则条件下，R2-D2先验是否能产生一致的后验分布？
• RQ4 在有限样本中，R2-D2先验与Horseshoe、Horseshoe+和Dirichlet-Laplace先验相比表现如何？
• RQ5 R2-D2先验在大规模回归问题中是否具有计算可处理性？

主要发现

• 由于其重尾部的边缘先验密度，R2-D2先验在常用收缩先验中表现出最快的趋近于零的集中速率。
• R2-D2的边缘先验密度为Meijer G函数，可精确刻画其尾部行为和集中性质。
• 在R2-D2先验下的贝叶斯估计量以Kullback-Leibler超效率速率收敛至真实参数，其信息论效率优于现有收缩先验。
• 在R2-D2先验下，后验分布是一致的，即随着样本量增加，其会集中在真实回归系数周围。
• 由于条件共轭性，R2-D2先验支持高效的Gibbs抽样，从而在高维下实现可扩展的计算。
• 在小鼠基因表达研究中的实证结果证实，R2-D2先验在变量选择和估计精度方面表现更优。