[论文解读] Estimating accuracy of the MCMC variance estimator: a central limit theorem for batch means estimators

Saptarshi Chakraborty, Suman K. Bhattacharya+1 more|arXiv (Cornell University)|Nov 3, 2019

Markov Chains and Monte Carlo Methods参考文献 27被引用 4

一句话总结

本文在标准正则性条件下，为MCMC方差的批均值估计器建立了中心极限定理（CLT），使得该估计器的渐近有效置信区间成为可能。该结果为评估MCMC方差估计的准确性提供了理论基础，类似于独立同分布样本方差的经典CLT，且通过模拟和一个实际的贝叶斯Lasso应用得到了验证。

ABSTRACT

The batch means estimator of the MCMC variance is a simple and effective measure of accuracy for MCMC based ergodic averages. Under various regularity conditions, the estimator has been shown to be consistent for the true variance. However, the estimator can be unstable in practice as it depends directly on the raw MCMC output. A measure of accuracy of the batch means estimator itself, ideally in the form of a confidence interval, is therefore desirable. The asymptotic variance of the batch means estimator is known; however, without any knowledge of asymptotic distribution, asymptotic variances are in general insufficient to describe variability. In this article we prove a central limit theorem for the batch means estimator that allows for the construction of asymptotically accurate confidence intervals for the batch means estimator. Additionally, our results provide a Markov chain analogue of the classical CLT for the sample variance parameter for i.i.d. observations. Our result assumes standard regularity conditions similar to the ones assumed in the literature for proving consistency. Simulated and real data examples are included as illustrations and applications of the CLT.

研究动机与目标

• 为解决MCMC方差批均值估计器缺乏正式精度度量的问题，该问题对可靠推断至关重要。
• 构建一个理论框架，以实现MCMC批均值方差估计器的渐近有效置信区间的构造。
• 将经典独立同分布样本方差的CLT推广至马尔可夫链设定，为方差估计提供马尔可夫链类比。
• 通过模拟和真实MCMC示例验证批均值估计器的渐近正态性。

提出的方法

• 在标准遍历性和矩条件之下，推导出MCMC方差批均值估计器的中心极限定理。
• 使用批均值方法估计MCMC遍历平均的渐近方差，将马尔可夫链输出划分为非重叠批次。
• 将CLT应用于批均值方差估计器，以证明渐近正态性并构建置信区间。
• 通过5,000次独立MCMC重复的模拟研究，评估不同批大小和迭代次数下批均值估计器的抽样分布。
• 利用两区块Gibbs采样器分析一个贝叶斯Lasso模型，对对数似然值计算批均值估计器，并评估其渐近正态性。
• 通过使用经验均值和估计标准误对批均值估计进行标准化，以检验其是否收敛至标准正态分布。

实验结果

研究问题

• RQ1 在标准正则性条件下，是否可以为MCMC方差的批均值估计器建立中心极限定理？
• RQ2 MCMC方差的批均值估计器是否表现出渐近正态性，从而允许置信区间的构建？
• RQ3 渐近正态近似在有限样本中对模拟和真实MCMC数据的适用性如何？
• RQ4 在实际MCMC应用中，批均值估计器的抽样分布是否能被正态分布良好近似？

主要发现

• 在标准正则性条件下，MCMC方差的批均值估计器是渐近正态的，从而可构建置信区间。
• 在 $n = 100,000$ 时，$b_n = \sqrt{n}$ 的批均值估计均值为304.351，$b_n = n^{0.4}$ 为302.385，$b_n = n^{1/3 + 10^{-5}}$ 为299.091，表明估计稳定。
• 近似标准化的批均值估计的抽样分布与标准正态密度高度吻合，证实了渐近正态性结果的有效性。
• 批均值估计器的渐近正态性在不同批大小选择下均成立，包括 $b_n = \sqrt{n}$、$n^{0.4}$ 和 $n^{1/3 + 10^{-5}}$，显示出稳健性。
• 批均值估计器的理论CLT为经典独立同分布样本方差CLT提供了一个马尔可夫链类比，将该理论的适用范围扩展至依赖的MCMC输出。