[論文レビュー] Estimating accuracy of the MCMC variance estimator: a central limit theorem for batch means estimators

Saptarshi Chakraborty, Suman K. Bhattacharya+1 more|arXiv (Cornell University)|Nov 3, 2019

Markov Chains and Monte Carlo Methods参考文献 27被引用数 4

ひとこと要約

本稿は、標準的な正則性条件の下で、MCMC分散のバッチ平均推定量の中心極限定理（CLT）を確立し、推定量の漸近的有効な信頼区間の構築を可能にする。この結果は、独立同一分布の標本分散に対する古典的CLTに類似した、MCMC分散推定量の精度を評価する理論的基盤を提供する。シミュレーションと実際のベイジアンラッソの応用を通じて検証されている。

ABSTRACT

The batch means estimator of the MCMC variance is a simple and effective measure of accuracy for MCMC based ergodic averages. Under various regularity conditions, the estimator has been shown to be consistent for the true variance. However, the estimator can be unstable in practice as it depends directly on the raw MCMC output. A measure of accuracy of the batch means estimator itself, ideally in the form of a confidence interval, is therefore desirable. The asymptotic variance of the batch means estimator is known; however, without any knowledge of asymptotic distribution, asymptotic variances are in general insufficient to describe variability. In this article we prove a central limit theorem for the batch means estimator that allows for the construction of asymptotically accurate confidence intervals for the batch means estimator. Additionally, our results provide a Markov chain analogue of the classical CLT for the sample variance parameter for i.i.d. observations. Our result assumes standard regularity conditions similar to the ones assumed in the literature for proving consistency. Simulated and real data examples are included as illustrations and applications of the CLT.

研究の動機と目的

• バッチ平均推定量のMCMC分散に対する正式な精度測定の欠如に取り組むこと。これは、信頼できる推論に不可欠である。
• バッチ平均分散推定量のための漸近的有効な信頼区間を構築できる理論的枠組みを構築すること。
• 独立同一分布の標本分散に対する古典的CLTをマルコフ連鎖の文脈に拡張し、分散推定のためのマルコフ連鎖アナログを提供すること。
• シミュレーションおよび実世界のMCMC例を通じて、バッチ平均推定量の漸近的正規性を検証すること。

提案手法

• 標準的なエルゴディシティおよびモーメント条件の下で、MCMC分散のバッチ平均推定量の中心極限定理を導出する。
• バッチ平均法を用いて、MCMCエルゴディック平均の漸近的分散を推定し、マルコフ連鎖の出力を重複のないバッチに分割する。
• CLTをバッチ平均分散推定量に適用し、漸近的正規性の妥当性を裏付け、信頼区間を構築する。
• 5,000個の独立したMCMC再現を用いたシミュレーションスタディを実施し、さまざまなバッチサイズと反復回数におけるバッチ平均推定量の標本分布を評価する。
• 2ブロックギブスサンプラーを用いたベイジアンラッソモデルを分析し、対数尤度値に対してバッチ平均推定量を計算し、その漸近的正規性を評価する。
• バッチ平均推定値をその標本平均と推定標準誤差で標準化し、標準正規分布への収束を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的な正則性条件の下で、MCMC分散のバッチ平均推定量に対して中心極限定理を確立できるか？
• RQ2 MCMC分散のバッチ平均推定量は漸近的に正規分布に従うか。これにより信頼区間の構築が可能になるか？
• RQ3 シミュレーションおよび実際のMCMCデータにおいて、有限標本における漸近正規近似の精度はどの程度か？
• RQ4 実際のMCMC応用において、バッチ平均推定量の標本分布は正規分布で十分に近似できるか？

主な発見

• 標準的な正則性条件の下で、MCMC分散のバッチ平均推定量は漸近的に正規分布に従い、信頼区間の構築が可能になる。
• n = 100,000 のとき、b_n = \sqrt{n} では5,000回の再現における平均バッチ平均推定値は304.351、b_n = n^{0.4} では302.385、b_n = n^{1/3 + 10^{-5}} では299.091であった。これは安定した推定を示している。
• おおよそ標準化されたバッチ平均推定値の標本分布は、標準正規密度とよく一致しており、漸近的正規性の結果の妥当性が確認された。
• b_n = \sqrt{n}、n^{0.4}、n^{1/3 + 10^{-5}} といった異なるバッチサイズの選択に対しても、バッチ平均推定量の漸近的正規性が成立しており、ロバストネスが示された。
• バッチ平均推定量の理論的CLTは、独立同一分布の標本分散に対する古典的CLTのマルコフ連鎖版を提供し、依存的なMCMC出力への適用範囲を拡張する。