[论文解读] Bayesian inference in high-dimensional models

Sayantan Banerjee, Ismaël Castillo+1 more|arXiv (Cornell University)|Jan 12, 2021

Statistical Methods and Inference参考文献 133被引用 12

一句话总结

本文综述了高维模型中的贝叶斯推断，重点关注回归、图模型及相关问题中诱导稀疏性的先验分布。研究表明，通过恰当的先验选择，后验分布可实现极小极大最优收缩速率，确保一致的结构学习，并生成具有充分频率覆盖性的可信区间，同时提出了诸如分块吉布斯抽样和拉普拉斯近似等高效计算方法，实现可扩展的推断。

ABSTRACT

Models with dimension more than the available sample size are now commonly used in various applications. A sensible inference is possible using a lower-dimensional structure. In regression problems with a large number of predictors, the model is often assumed to be sparse, with only a few predictors active. Interdependence between a large number of variables is succinctly described by a graphical model, where variables are represented by nodes on a graph and an edge between two nodes is used to indicate their conditional dependence given other variables. Many procedures for making inferences in the high-dimensional setting, typically using penalty functions to induce sparsity in the solution obtained by minimizing a loss function, were developed. Bayesian methods have been proposed for such problems more recently, where the prior takes care of the sparsity structure. These methods have the natural ability to also automatically quantify the uncertainty of the inference through the posterior distribution. Theoretical studies of Bayesian procedures in high-dimension have been carried out recently. Questions that arise are, whether the posterior distribution contracts near the true value of the parameter at the minimax optimal rate, whether the correct lower-dimensional structure is discovered with high posterior probability, and whether a credible region has adequate frequentist coverage. In this paper, we review these properties of Bayesian and related methods for several high-dimensional models such as many normal means problem, linear regression, generalized linear models, Gaussian and non-Gaussian graphical models. Effective computational approaches are also discussed.

研究动机与目标

• 研究贝叶斯方法在高维模型中的理论频率性质，如后验收缩速率和结构选择一致性。
• 评估贝叶斯可信区域在高维设置下是否具备充分的频率覆盖性。
• 开发并分析高维图模型和回归中后验计算的计算高效算法。
• 从理论性能和不确定性量化角度，比较贝叶斯方法与频率学派的惩罚方法（如LASSO）。
• 建立贝叶斯方法实现极小极大最优收缩速率和一致模型选择的条件。

提出的方法

• 使用具有点质量与连续成分的层次先验（即“点-滑”结构）以在精度矩阵和回归系数中诱导稀疏性，实现变量选择与结构学习。
• 采用分块吉布斯抽样，迭代更新精度矩阵和边指示变量 $ z_{ij} $，其条件后验基于正态分布和伯努利分布。
• 对后验众数附近的对数似然使用拉普拉斯近似，以高效计算边际后验模型概率，避免昂贵的可逆跳跃马尔可夫链蒙特卡洛（MCMC）方法。
• 在精度矩阵 $ oldsymbol{ ext{Ω}} $ 的元素上使用软-点-滑先验，采用混合分布，其中 $ u_0 $（较小）和 $ u_1 $（较大）分别表示小方差和大方差，以反映稀疏性。
• 通过在对角线上使用类似Wishart的先验，并通过保持正定性的条件更新，确保 $ oldsymbol{ ext{Ω}} $ 的正定性。
• 在每个模型内使用图LASSO作为后验众数的快速近似，结合拉普拉斯近似，实现后验概率的快速计算。

实验结果

研究问题

• RQ1 在高维模型（如稀疏回归和高斯图模型）中，后验分布是否以极小极大最优速率收缩？
• RQ2 贝叶斯方法能否以高后验概率一致地选择正确的模型结构（如真实图或活跃预测变量）？
• RQ3 从后验分布构造的可信区间在高维设置下是否具备充分的频率覆盖性？
• RQ4 如何在具有复杂约束的高维图模型中实现后验抽样的高效计算？
• RQ5 拉普拉斯近似能否为高维贝叶斯结构学习中的模型比较提供一种快速且可靠的MCMC替代方法？

主要发现

• 通过适当的层次先验，后验分布在高维模型（包括稀疏线性回归和高斯图模型）中实现了极小极大最优收缩速率。
• 随着样本量增加，真实模型的后验概率收敛于1，表明在适当的正则性条件下可实现一致的结构学习。
• 从后验分布导出的可信区间实现了渐近频率覆盖性，验证了高维情况下贝叶斯不确定性量化的有效性。
• 结合软-点-滑先验的分块吉布斯抽样可实现高效的后验计算与结构学习，即使在高维图中亦适用。
• 拉普拉斯近似为计算后验模型概率提供了一种计算快速的MCMC替代方法，尤其在后验众数中无零分量的规则模型中表现优异。
• 该方法对模型误设具有鲁棒性，因为非正则模型会被后验概率更高的正则子模型所主导，从而确保可靠的模型选择。