[论文解读] Conjugate Bayes for probit regression via unified skew-normals

Daniele Durante|arXiv (Cornell University)|Feb 26, 2018

Bayesian Methods and Mixture Models被引用 8

一句话总结

本文证明了在高斯先验下，贝叶斯probit回归的后验分布为统一偏正态分布，从而实现了精确的解析计算与高效的采样。通过利用这种共轭性，该方法在高维与不平衡数据设置下显著提升了后验推断性能，相较于MCMC和近似方法提供了更准确的替代方案，同时保持了先验设定的可处理性与灵活性。

ABSTRACT

Regression models for dichotomous data are ubiquitous in statistics. Besides being fundamental for inference on binary responses, such representations additionally provide an essential building-block in more complex formulations, such as predictor-dependent mixture models, deep neural networks, graphical models, and others. Within a Bayesian framework, inference typically proceeds by updating the Gaussian priors for the regression coefficients with the likelihood induced by a probit or logit model for the observed binary response data. The apparent absence of conjugacy in this Bayesian updating has motivated a wide variety of computational methods, including Markov Chain Monte Carlo (MCMC) routines and algorithms for approximating the posterior distribution. Although such methods are routinely implemented, data augmentation MCMC faces convergence and mixing issues in imbalanced data settings and in hierarchical models, whereas approximate routines fail to capture the skewness and the heavy tails typically observed in the posterior distribution of the coefficients. This article shows that the posterior for the coefficients of a probit model is indeed analytically available---under Gaussian priors---and coincides with a unified skew-normal. Due to this, it is possible to study explicitly the posterior distribution along with the predictive probability mass function of the responses, and to derive a novel and more efficient sampler for high-dimensional inference. A conjugate class of priors for Bayesian probit regression, improving flexibility in prior specification without affecting tractability in posterior inference, is also provided.

研究动机与目标

• 为解决贝叶斯probit回归中长期存在的非共轭性问题，该问题导致对计算成本高昂或不准确的近似方法的依赖。
• 在高斯先验下，为probit回归系数提供一个解析可处理的后验分布，克服MCMC与变分推断的局限性。
• 在标准MCMC方法因混合性差与收敛性差而表现不佳的高维与不平衡数据设置中，改进后验推断性能。
• 在不牺牲计算可处理性的前提下，扩展probit回归的共轭先验类，增强先验设定的灵活性。
• 推导一种新颖且高效的MCMC采样器，利用偏正态结构以提升采样效率。

提出的方法

• 本文识别出在高斯先验下，probit回归中回归系数的后验分布服从统一偏正态分布。
• 通过引入一个新颖的表示方法，利用多元正态分布的累积分布函数，将似然与先验通过统一偏正态族联系起来，从而建立该结果。
• 该方法可实现后验分布与预测分布的精确计算，包括二值响应的概率质量函数。
• 基于偏正态结构开发了一种新型MCMC采样器，显著提升了高维与层次化模型中的混合性与收敛性。
• 该方法可推广至一类保持解析可处理性的共轭先验，同时允许在先验建模中实现更高的灵活性。
• 理论推导依赖于统一偏正态分布的性质及其与截断正态与折叠正态变量的关联。

实验结果

研究问题

• RQ1 在高斯先验下，贝叶斯probit回归的后验分布是否可表示为闭式解？
• RQ2 统一偏正态族是否提供一种共轭结构，从而实现probit模型中后验分布的精确计算？
• RQ3 这种共轭性是否能带来更高效、更准确的MCMC采样，特别是在高维或不平衡数据设置下？
• RQ4 是否可能在不损失解析可处理性的前提下，扩展probit回归的共轭先验类？
• RQ5 与标准MCMC和变分推断相比，偏正态后验在捕捉后验偏度与厚尾特征方面表现如何？

主要发现

• 在高斯先验下，贝叶斯probit回归中回归系数的后验分布具有解析可处理性，且服从统一偏正态分布。
• 该共轭性使得后验分布与二值响应的预测概率质量函数均可实现精确计算。
• 该方法提供了一种更高效的MCMC采样器，显著提升了高维与不平衡数据设置下的混合性与收敛性。
• 与近似方法相比，该后验能更准确地捕捉偏度与厚尾特征，而后者常无法建模这些特性。
• 提出了一类保持解析可处理性的共轭先验，同时增强了先验设定的灵活性。
• 统一偏正态表示为probit模型中精确贝叶斯推断提供了理论基础，解决了长期存在的计算挑战。