[论文解读] A Class of Conjugate Priors for Multinomial Probit Models which Includes the Multivariate Normal One

Augusto Fasano, Daniele Durante|arXiv (Cornell University)|Jul 14, 2020

Statistical Methods and Bayesian Inference参考文献 50被引用 13

一句话总结

本文证明了统一偏正态（SUN）分布是多项式 probit 模型的共轭先验，从而实现了后验分布的闭式推断和可扩展的变分贝叶斯方法。主要贡献在于提出了一套可处理的贝叶斯框架，显著提升了计算效率与准确性，尤其在高维和类别不平衡的场景下表现突出。

ABSTRACT

Multinomial probit models are routinely-implemented representations for learning how the class probabilities of categorical response data change with p observed predictors. Although several frequentist methods have been developed for estimation, inference and classification within such a class of models, Bayesian inference is still lagging behind. This is due to the apparent absence of a tractable class of conjugate priors, that may facilitate posterior inference on the multinomial probit coefficients. Such an issue has motivated increasing efforts toward the development of effective Markov chain Monte Carlo methods, but state-of-the-art solutions still face severe computational bottlenecks, especially in high dimensions. In this article, we show that the entire class of unified skew-normal (SUN) distributions is conjugate to several multinomial probit models. Leveraging this result and the SUN properties, we improve upon state-of-the-art solutions for posterior inference and classification both in terms of closed-form results for several functionals of interest, and also by developing novel computational methods relying either on independent and identically distributed samples from the exact posterior or on scalable and accurate variational approximations based on blocked partially-factorized representations. As illustrated in simulations and in a gastrointestinal lesions application, the magnitude of the improvements relative to current methods is particularly evident, in practice, when the focus is on high-dimensional studies.

研究动机与目标

• 解决在多项式 probit 模型贝叶斯推断中缺乏可处理共轭先验的问题，该问题阻碍了高效后验计算。
• 克服马尔可夫链蒙特卡洛（MCMC）和变分贝叶斯方法在高维和类别不平衡数据场景下的计算瓶颈。
• 构建一个统一框架，利用统一偏正态（SUN）分布作为共轭先验，支持闭式后验计算与可扩展推断。
• 将单变量 probit 模型的理论结果扩展至多变量多项式 probit 设置，确保更广泛的应用性。
• 通过精确抽样与分块部分因子化变分近似，实现准确且高效的后验推断与分类。

提出的方法

• 通过证明后验核与 SUN 密度一致，证明整个统一偏正态（SUN）分布族对多项式 probit 模型具有共轭性。
• 利用 SUN 分布的性质，推导出关键泛函的闭式表达式，包括边缘似然和预测概率。
• 利用 SUN 先验的共轭性，开发从精确后验分布中进行独立同分布（i.i.d.）抽样的方法。
• 基于分块、部分因子化表示，设计可扩展的变分贝叶斯近似方法，以提升高维场景下的准确性与收敛性。
• 利用似然与先验的结构，通过 SUN 分布恒等式将联合模型重参数化为便于高效计算的形式。
• 将结果应用于标准多项式 probit 模型及其具有类别特异性效应的扩展形式，确保模型的广泛适用性。

实验结果

研究问题

• RQ1 能否为多项式 probit 模型识别出一种可处理的共轭先验，以实现闭式后验推断？
• RQ2 如何利用统一偏正态（SUN）分布提升高维多项式 probit 模型贝叶斯推断的计算效率？
• RQ3 基于 SUN 共轭性的 i.i.d. 抽样与变分贝叶斯方法，在性能上相较于现有 MCMC 和近似技术有多大的优势？
• RQ4 在存在罕见类别的类别不平衡数据设置下，所提出的框架是否仍能保持准确性与可扩展性？
• RQ5 该共轭性结果能否推广至具有类别特异性预测变量效应的多项式 probit 模型？

主要发现

• 证明了统一偏正态（SUN）分布对多项式 probit 模型（包括具有类别特异性效应的模型）具有共轭性，从而支持精确后验计算。
• 表明系数的后验分布为 SUN 分布，从而可获得边缘似然和预测概率的闭式表达式。
• 该方法同时支持通过 i.i.d. 抽样实现的精确后验抽样，以及基于分块、部分因子化表示的可扩展变分贝叶斯近似。
• 在胃肠道病变分类的模拟与真实数据分析中，显著提升了计算速度与准确性，尤其在高维设置下表现突出。
• 在收敛速度与预测性能方面，该框架优于当前最先进的 MCMC 与变分方法，尤其在类别频率不平衡时表现更优。
• 边缘似然以多变量正态累积分布函数的比值形式导出，便于模型比较与选择。