[论文解读] Approximating the marginal likelihood using copula

David J. Nott, Robert Kohn+1 more|ArXiv.org|Oct 30, 2008

Bayesian Methods and Mixture Models参考文献 29被引用 5

一句话总结

本文提出了一种基于对 copula 的拉普拉斯近似新扩展，用于在贝叶斯模型选择中估计边际似然，其精度优于标准拉普拉斯方法，且无需额外的 MCMC 采样。该方法使用对 copula 模型——特别是高斯对 copula 和 t-对 copula——来更好地捕捉后验样本中的多元依赖结构，与完全贝叶斯方法（如 Chib 算法）相比，计算成本显著降低，同时保持了具有竞争力的性能。

ABSTRACT

Model selection is an important activity in modern data analysis and the conventional Bayesian approach to this problem involves calculation of marginal likelihoods for different models, together with diagnostics which examine specific aspects of model fit. Calculating the marginal likelihood is a difficult computational problem. Our article proposes some extensions of the Laplace approximation for this task that are related to copula models and which are easy to apply. Variations which can be used both with and without simulation from the posterior distribution are considered, as well as use of the approximations with bridge sampling and in random effects models with a large number of latent variables. The use of a t-copula to obtain higher accuracy when multivariate dependence is not well captured by a Gaussian copula is also discussed.

研究动机与目标

• 为解决贝叶斯模型选择中估计边际似然的计算挑战，该挑战对于计算贝叶斯因子和后验模型概率至关重要。
• 通过使用对 copula 模型对后验样本中的多元依赖结构进行建模，提升拉普拉斯近似的精度。
• 开发一种计算高效且适用于具有潜变量模型（如随机效应模型）的方法。
• 为桥接抽样和 Chib 方法等计算密集型方法提供一种实用的替代方案，特别是在高维设置下。
• 探索在后验依赖结构不能由正态性良好刻画时，使用 t-对 copula 作为高斯对 copula 的更稳健替代方案。

提出的方法

• 该方法通过使用对 copula 模型（特别是高斯对 copula 和 t-对 copula）对后验样本的依赖结构进行建模，扩展了拉普拉斯近似，以更准确地近似联合后验密度。
• 利用恒等式 $ p(\mathbf{y}) = \frac{p(\boldsymbol{\theta})p(\mathbf{y}|\boldsymbol{\theta})}{p(\boldsymbol{\theta}|\mathbf{y})} $，其中边际似然通过在众数或中位数处评估分子，并通过拟合对 copula 来估计后验密度。
• 对 MCMC 输出拟合高斯对 copula，以估计联合后验密度 $ p(\boldsymbol{\theta}|\mathbf{y}) $，从而替代拉普拉斯-梅特罗波利斯方法中使用的正态近似。
• 通过从潜变量的条件后验中进行模拟，并结合对 copula 基于的参数空间密度估计，将该方法应用于具有潜变量的模型。
• 将该方法与 Chib 方法和正态近似进行比较，结果表明，基于对 copula 的估计在计算开销极小的情况下实现了更高的精度。
• 探讨了在后验中存在尾部依赖或非正态性时，t-对 copula 作为高斯对 copula 的稳健替代方案的适用性。

实验结果

研究问题

• RQ1 对 copula 模型能否提升贝叶斯模型选择中用于边际似然估计的拉普拉斯型近似的精度？
• RQ2 在精度和计算成本方面，基于对 copula 的近似方法与标准拉普拉斯方法和正态近似方法相比表现如何？
• RQ3 基于对 copula 的方法能否有效应用于具有潜变量和高维参数空间的模型？
• RQ4 当后验依赖结构非椭圆分布时，使用 t-对 copula 是否能提供优于高斯对 copula 的性能？
• RQ5 在何种场景下，可以将对 copula 近似与计算密集型方法（如 Chib 算法）结合使用，以减轻计算负担？

主要发现

• 该对 copula 近似方法在捕捉后验中复杂依赖结构方面，精度高于正态近似和拉普拉斯-梅特罗波利斯估计器。
• 该对 copula 方法在单次 MCMC 运行后仅需可忽略的额外计算开销，而 Chib 方法则需为每次条件密度估计运行多次额外的 MCMC。
• 与 Chib 和 Jeliazkov 方法的比较中，对 copula 近似产生的对数边际似然估计值非常接近，50 次重复实验的平均差异小于 0.1。
• t-对 copula 的表现略逊于高斯对 copula，表明当依赖结构近似为椭圆分布时，后者已足够。
• 该方法在同方差和异方差模型中均表现出色，表明其对模型结构变化具有鲁棒性。
• 作者建议，可将对 copula 近似与 Chib 方法结合使用，特别是在高维模型中对小参数块进行分组，以降低计算开销。