[论文解读] Accurate Computation of Marginal Data Densities Using Variational Bayes

Gholamreza Hajargasht, Tomasz Woźniak|arXiv (Cornell University)|May 25, 2018

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种新颖的边际数据密度估计器（MDDE），该方法利用变分贝叶斯（VB）后验近似作为反向重要性采样（RIS）中的重要性采样权重，实现了对边际似然的精确、稳定且计算高效的估计。该方法在数值标准误差和偏差方面优于现有MDDE，具有有限方差和渐近正态性，同时避免了对权重密度的截断。

ABSTRACT

We propose a new marginal data density estimator (MDDE) that uses the variational Bayes posterior density as a weighting density of the reciprocal importance sampling (RIS) MDDE. This computationally convenient estimator is based on variational Bayes posterior densities that are available for many models and requires simulated draws only from the posterior distribution. It provides accurate estimates with a moderate number of posterior draws, has a finite variance, and provides a minimum variance candidate for the class of RIS MDDEs. Its reciprocal is consistent, asymptotically normally distributed, and unbiased. These properties are obtained without truncating the weighting density, which is typical for other such estimators. Our proposed estimators outperform many existing MDDEs in terms of bias and numerical standard errors. In particular, our RIS MDDE performs uniformly better than other estimators from this class.

研究动机与目标

• 开发一种计算高效且精确的边际数据密度估计器（MDDE），用于贝叶斯模型比较。
• 克服现有MDDE的局限性，如高偏差、无限方差以及依赖截断权重密度的问题。
• 利用变分贝叶斯（VB）后验作为RIS-based MDDE中自然且解析可处理的重要性采样密度。
• 证明基于VB的MDDE在RIS估计器中具有最小方差，并保持一致性和渐近正态性。
• 通过仅依赖后验抽样和VB近似，将MDDE的适用范围扩展至MCMC采样复杂或不可行的模型。

提出的方法

• 所提出的RIS MDDE使用VB后验密度作为重要性采样权重函数，避免了支撑集的截断。
• 该估计器定义为：在后验抽样上，VB密度与联合似然-先验乘积之比的倒数的平均值的倒数。
• 该方法依赖于后验样本和VB近似，后者在许多模型中均可获得，无需完整的MCMC采样。
• 理论性质包括：倒数估计器的一致性、渐近正态性以及无偏性，且无需截断。
• 该方法被扩展至使用相同VB后验作为提议密度的桥接抽样（BS）MDDE。
• 该方法不仅适用于平均场VB，也适用于非因子化VB近似，因其不依赖VB近似中的因子化假设。

实验结果

研究问题

• RQ1 能否有效利用变分贝叶斯后验近似作为重要性采样权重来估计边际数据密度？
• RQ2 将VB后验用作权重密度是否能产生比现有方法更低偏差和数值标准误差的MDDE？
• RQ3 基于VB的RIS MDDE是否能在不截断权重密度的情况下实现有限方差和渐近正态性？
• RQ4 在复杂模型中，VB基MDDE的性能与Chib（1995）和Geweke（1999）等基准方法相比如何？
• RQ5 VB近似在最小化反向KL散度方面的最优性，在多大程度上转化为MDDE效率的提升？

主要发现

• 基于VB后验密度的所提RIS MDDE在所有测试估计器中实现了最低的数值标准误差（NSE），其NSE值几乎比Geweke（1999）的RIS MDDE低十五倍。
• 在包括随机前沿模型和纵向泊松模型在内的多个模型中，基于VB的RIS和BS MDDE在偏差和NSE方面均优于Chib（1995）的基准MDDE及其他所有竞争方法。
• 即使不截断权重密度，RIS MDDE的倒数估计器仍具有一致性、渐近正态性和无偏性，这是相对于先前方法的关键优势。
• 在后验计算非标准的模型中（如Gibbs内嵌Metropolis-Hastings），VB RIS MDDE仍保持数值稳定和精确，其NSE显著低于其他估计器。
• VB基估计器表现出更优的数值稳定性，箱线图显示其估计值紧密聚集在真实值附近，而其他估计器则表现出高变异性。
• 即使在使用完整数据似然时，该方法仍保持高性能，NSE仅中等增加（约两倍），而以往研究报告了严重的效率损失。