[论文解读] Estimating standard errors for importance sampling estimators with multiple Markov chains

Vivekananda Roy, Aixin Tan+1 more|arXiv (Cornell University)|Sep 21, 2015

Statistical Methods and Inference参考文献 39被引用 5

一句话总结

本文提出了一种批量均值方法，用于在多项式遍历性和有限矩条件下，利用多个马尔可夫链估计广义重要性采样估计量的渐近有效标准误。该方法建立了中心极限定理，并在贝叶斯和经验贝叶斯设置下实现可靠推断，包括高维变量选择和贝叶斯因子估计。

ABSTRACT

The naive importance sampling estimator, based on samples from a single importance density, can be numerically unstable. Instead, we consider generalized importance sampling estimators where samples from more than one probability distribution are combined. We study this problem in the Markov chain Monte Carlo context, where independent samples are replaced with Markov chain samples. If the chains converge to their respective target distributions at a polynomial rate, then under two finite moment conditions, we show a central limit theorem holds for the generalized estimators. Further, we develop an easy to implement method to calculate valid asymptotic standard errors based on batch means. We also provide a batch means estimator for calculating asymptotically valid standard errors of Geyer(1994) reverse logistic estimator. We illustrate the method using a Bayesian variable selection procedure in linear regression. In particular, the generalized importance sampling estimator is used to perform empirical Bayes variable selection and the batch means estimator is used to obtain standard errors in a high-dimensional setting where current methods are not applicable.

研究动机与目标

• 解决当单一提议密度无法良好近似目标分布时重要性采样中的数值不稳定性问题。
• 将标准误估计方法扩展至使用多个马尔可夫链的广义重要性采样，而非仅限于独立同分布样本。
• 为高维和复杂模型中渐近有效标准误估计提供一种实用且可实现的方法。
• 通过批量均值方法支持贝叶斯空间建模和经验贝叶斯变量选择中的可靠推断。

提出的方法

• 使用广义重要性采样估计量，结合来自多个具有不同提议密度的马尔可夫链的样本，并按重要性权重进行加权。
• 应用批量均值程序来估计标准误，利用在多项式遍历性下估计量的渐近正态性。
• 在两个有限矩条件和多项式混合率下，推导广义估计量的中心极限定理。
• 将批量均值方法适配至Geyer的反向逻辑估计量，用于归一化常数之比的估计。
• 采用具有已知权重和归一化常数比的提议密度混合，以稳定估计过程。
• 通过模拟研究和真实数据应用验证该方法，包括贝叶斯空间模型和高维变量选择。

实验结果

研究问题

• RQ1 能否基于多个马尔可夫链的广义重要性采样估计量可靠地估计标准误？
• RQ2 在MCMC设置下，此类估计量的中心极限定理在何种条件下成立？
• RQ3 如何将批量均值方法适配以提供复杂估计量（如Geyer的反向逻辑估计量）的渐近有效标准误？
• RQ4 该方法能否在高维贝叶斯模型（如经验贝叶斯变量选择）中支持准确推断？
• RQ5 在稳定性与准确性方面，该批量均值估计量相较于其他方法表现如何？

主要发现

• 在多项式遍历性和两个有限矩条件下，广义重要性采样估计量的中心极限定理成立。
• 所提出的批量均值方法为广义IS估计量和Geyer的反向逻辑估计量均提供了渐近有效标准误。
• 在二值数据的贝叶斯空间建模中，该方法实现了相对标准误低于5%的贝叶斯因子准确估计。
• 在经验贝叶斯变量选择中，批量均值估计量成功在传统方法失效的高维设置下计算出标准误。
• 当归一化常数已知时，该方法在方差缩减方面优于标准总体蒙特卡洛方法。
• 经验贝叶斯选择 $h_{ ext{EB}} = (0.075, e^{-5})$ 得到贝叶斯因子为9.75，预测均方误差为0.411，与常用选择 $h_0 = (0.5, e^0)$ 的0.431相比表现相当。