[論文レビュー] Control Variates for Reversible MCMC Samplers

Πέτρος Δελλαπόρτας, Ioannis Kontoyiannis|arXiv (Cornell University)|Aug 7, 2010

Markov Chains and Monte Carlo Methods参考文献 67被引用数 4

ひとこと要約

本稿は、ポアソン方程式の有限次元的解法を活用して、可逆MCMCサンプラーにおける最適な制御変数係数の新しい一貫性のある推定量を提案する。ステーショナリな分布および遷移カーネルから導かれる関数を用いて制御変数を構築することで、特に共役ギブスおよびギブス内メトロポリス設定において顕著な分散低減が達成される。

ABSTRACT

A general methodology is introduced for the construction and effective application of control variates to estimation problems involving data from reversible MCMC samplers. We propose the use of a specific class of functions as control variates, and we introduce a new, consistent estimator for the values of the coefficients of the optimal linear combination of these functions. The form and proposed construction of the control variates is derived from our solution of the Poisson equation associated with a specific MCMC scenario. The new estimator, which can be applied to the same MCMC sample, is derived from a novel, finite-dimensional, explicit representation for the optimal coefficients. The resulting variance-reduction methodology is primarily applicable when the simulated data are generated by a conjugate random-scan Gibbs sampler. MCMC examples of Bayesian inference problems demonstrate that the corresponding reduction in the estimation variance is significant, and that in some cases it can be quite dramatic. Extensions of this methodology in several directions are given, including certain families of Metropolis-Hastings samplers and hybrid Metropolis-within-Gibbs algorithms. Corresponding simulation examples are presented illustrating the utility of the proposed methods. All methodological and asymptotic arguments are rigorously justified under easily verifiable and essentially minimal conditions.

研究の動機と目的

• マルコフ連鎖の依存構造の複雑さと、ゼロ平均関数が既知でないことが原因で、MCMCにおける有効な制御変数手法が不足しているという問題に対処すること。
• 無限次元の分散推定という課題を克服し、同じMCMCサンプルを用いて最適な制御変数係数の一致する、計算可能な推定量を開発すること。
• 共役ギブスサンプラーおよび特定のメトロポリス・ハスティングスおよびハイブリッドアルゴリズムに適用可能な、理論的整合性と最小限の条件を満たす分散低減フレームワークを提供すること。
• 検証可能な条件下で、提案された推定量の理論的一貫性および漸近正規性を確立すること。

提案手法

• 目的分布およびMCMCカーネルに関連するポアソン方程式の解から制御変数を導出し、定常測度の下でゼロ平均を保証する。
• 制御変数の線形結合における最適係数ベクトル θ* の有限次元的で明示的な表現を導入する。
• 遷移カーネルおよび定常測度から導かれる関数の経験的平均を用いて、θ* の一貫性のある推定量を提案し、同じMCMCサンプルに適用可能である。
• エルゴディック定理およびマルティンゲール技法を用いて、最小限の条件下で係数および分散推定量のほとんど確実収束を証明する。
• 制御変数を十分統計量およびその条件付き期待値から構築するため、共役ランダムスキャンギブスサンプラーに適用する。
• ポアソン方程式の解法および係数推定を適応させることで、メトロポリス・ハスティングスおよびハイブリッドメトロポリス内ギブスサンプラーにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 可逆MCMCサンプラーに対して、ポアソン方程式の解を用いて制御変数を体系的に構築することは可能か？
• RQ2 追加のシミュレーションを必要とせず、MCMCサンプルのみを用いて制御変数の線形結合の最適係数を一貫して推定することは可能か？
• RQ3 この手法により、共役ギブスおよびメトロポリス・ハスティングスサンプラーにおいて理論的に達成可能な分散低減はどの程度か？
• RQ4 最小限の正則性条件下で、係数および分散の推定量が漸近的にどのように振る舞うか？
• RQ5 この手法は、メトロポリスステップとギブスステップを組み合わせたハイブリッドアルゴリズムへ拡張可能か？

主な発見

• 提案された最適制御変数係数の推定量は、最小限で検証可能な条件下で、真の最適値にほとんど確実に収束する。
• MCMC推定量の分散は顕著に低減され、特定のベイズ推論問題では「劇的」な低減が報告されている。
• 特に共役ランダムスキャンギブスサンプラーにおいて有効であり、制御変数は十分統計量およびその条件付き期待値から構築される。
• 制御された推定量の漸近的分散は、標準的なエルゴディック平均の分散よりも厳密に小さく、ポアソン方程式の解を用いて定量的に評価可能である。
• 元のMCMC過程から導かれる2変量および多変量連鎖にエルゴディック定理を適用することで、係数推定量の一貫性が証明された。
• シミュレーション例を通じて、メトロポリス・ハスティングスおよびハイブリッドアルゴリズムへの応用が実用的でかつ分散低減に効果的であることが示された。