[論文レビュー] Estimating standard errors for importance sampling estimators with multiple Markov chains

Vivekananda Roy, Aixin Tan+1 more|arXiv (Cornell University)|Sep 21, 2015

Statistical Methods and Inference参考文献 39被引用数 5

ひとこと要約

本稿は、多項式混合性および有限モーメント条件の下で、複数のマルコフ連鎖を用いた一般化重要度サンプリング推定量の漸近的に有効な標準誤差を推定するバッチ平均法を提案する。中心極限定理を確立し、ベイズ的およびエムpirィカルベイズ的設定、特に高次元変数選択やベイズ因子推定において信頼性の高い推論を可能にする。

ABSTRACT

The naive importance sampling estimator, based on samples from a single importance density, can be numerically unstable. Instead, we consider generalized importance sampling estimators where samples from more than one probability distribution are combined. We study this problem in the Markov chain Monte Carlo context, where independent samples are replaced with Markov chain samples. If the chains converge to their respective target distributions at a polynomial rate, then under two finite moment conditions, we show a central limit theorem holds for the generalized estimators. Further, we develop an easy to implement method to calculate valid asymptotic standard errors based on batch means. We also provide a batch means estimator for calculating asymptotically valid standard errors of Geyer(1994) reverse logistic estimator. We illustrate the method using a Bayesian variable selection procedure in linear regression. In particular, the generalized importance sampling estimator is used to perform empirical Bayes variable selection and the batch means estimator is used to obtain standard errors in a high-dimensional setting where current methods are not applicable.

研究の動機と目的

• 単一の提案密度が目標分布をうまく近似できない場合の重要度サンプリングにおける数値的不安定性を解消すること。
• 独立同分布のサンプルに限らない、複数のマルコフ連鎖を用いた一般化重要度サンプリングにおける標準誤差推定を拡張すること。
• 高次元および複雑なモデルにおける漸近的に有効な標準誤差推定の実用的かつ実装可能な手法を提供すること。
• バッチ平均法を用いて、ベイズ的空間モデルおよびエムピリカルベイズの変数選択における信頼性の高い推論を支援すること。

提案手法

• 異なる提案密度からの複数のマルコフ連鎖のサンプルを重要度比で重み付けして組み合わせる一般化重要度サンプリング推定量を用いる。
• バッチ平均手順を適用して標準誤差を推定し、多項式混合性の下での推定量の漸近正規性を活用する。
• 二つの有限モーメント条件と多項式混合レートの下で、一般化推定量の中心極限定理を導出する。
• 正規化定数の比の推定に適応したGeyerの逆ロジスティック推定量にバッチ平均法を拡張する。
• 既知の重みと正規化定数比を有する提案密度の混合を用いて推定を安定化する。
• シミュレーションスタディおよび実データ応用を通じて、本手法の妥当性を検証する。これにはベイズ的空間モデルと高次元変数選択が含まれる。

実験結果

リサーチクエスチョン

• RQ1 複数のマルコフ連鎖に基づく一般化重要度サンプリング推定量の標準誤差を信頼性を持って推定できるか？
• RQ2 MCMC設定下で、このような推定量に対して中心極限定理が成り立つ条件は何か？
• RQ3 バッチ平均法をどのように適応させれば、Geyerの逆ロジスティック推定量のような複雑な推定量に対し、漸近的に有効な標準誤差を提供できるか？
• RQ4 この手法は、例えばエムピリカルベイズの変数選択のような高次元ベイズモデルにおいて、正確な推論を可能にするか？
• RQ5 標準誤差推定量の性能は、安定性および正確性の観点で、他の手法と比べてどうなるか？

主な発見

• 多項式混合性および二つの有限モーメント条件の下で、一般化重要度サンプリング推定量に対して中心極限定理が成立する。
• 提案されたバッチ平均法は、一般化IS推定量およびGeyerの逆ロジスティック推定量の両方に対して、漸近的に有効な標準誤差を提供する。
• 二値データに対するベイズ的空間モデリングにおいて、本手法は相対標準誤差が5%未満のベイズ因子の正確な推定を可能にした。
• エムピリカルベイズの変数選択において、従来の手法が失敗する高次元設定でも、バッチ平均推定量は標準誤差を正常に計算できた。
• 正規化定数が既知である場合、本手法は標準的ポピュレーションモンテカルロ法よりも分散低減の面で優れていた。
• エムピリカルベイズの選択 $h_{\text{EB}} = (0.075, e^{-5})$ は、ベイズ因子9.75をもたらし、予測MSEは0.411であった。これは一般的な選択 $h_0 = (0.5, e^0)$ の0.431と同等の性能を示した。