[論文レビュー] Variable-at-a-time Implementations of Metropolis-Hastings

Ronald C. Neath, Galin L. Jones|arXiv (Cornell University)|Mar 4, 2009

Markov Chains and Monte Carlo Methods参考文献 23被引用数 5

ひとこと要約

本稿は、状態に依存しない提案分布を用いた1変数ずつ更新するメトロポリス・ハスティングスアルゴリズムに対して、幾何的エルゴドゥシティと一様収束性を確立し、MCMCの標準誤差を推定するための実用的な再帰的シミュレーションの手法を提示する。主な貢献は、ベイズ推論および混合効果モデルの文脈で検証された、成分別MCMCにおける収束速度と誤差推定の理論的基盤の構築にある。

ABSTRACT

It is common practice in Markov chain Monte Carlo to update a high-dimensional chain one variable (or sub-block of variables) at a time, rather than conduct a single block update. While this modification can make the choice of proposal easier, the theoretical convergence properties of the associated Markov chain have received limited attention. We present conditions under which the chain converges uniformly to its stationary distribution at a geometric rate. Also, we develop a recipe for performing regenerative simulation in this setting and demonstrate its application for estimating Markov chain Monte Carlo standard errors. In both our investigation of convergence rates and in Monte Carlo standard error estimation we pay particular attention to the case with state-independent component-wise proposals. We illustrate our results in two examples, a toy Bayesian inference problem and a practically relevant example involving maximum likelihood estimation for a generalized linear mixed model. 1 1

研究の動機と目的

• 1変数ずつ更新するメトロポリス・ハスティングス列が、その定常分布に幾何的に収束する理論的条件を確立すること。
• MCMCの標準誤差を正確に推定するための、成分別MCMCにおける実用的な再帰的シミュレーション手法を開発すること。
• 特に状態に依存しない成分別提案分布の下での収束特性と誤差推定のパフォーマンスを分析すること。
• 本手法の有効性を、トゥイ・ベイズモデルおよび実世界の一般化線形混合モデルの両方で示すこと。

提案手法

• ドリフトおよびマイノリゼーション条件を用いて、成分別メトロポリス・ハスティングス列の幾何的エルゴドゥシティの十分条件を導出する。
• 再生時刻に基づく再帰的シミュレーションフレームワークを提案し、MCMCの標準誤差を一貫して推定可能にする。
• 状態に依存しない提案分布を用いた列に適用し、実装と解析を簡素化する。
• ドリフト関数とマイノリゼーション条件を用いて、状態空間全体にわたる一様な幾何的エルゴドゥシティを検証する。
• バッチ平均や漸近的近似に依存せずに、再生に基づく分散推定を用いて信頼性の高いMCMCの標準誤差を計算する。
• トゥイ・ベイズモデルおよびランダム効果を含む一般化線形混合モデルにおけるシミュレーションを通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 1変数ずつ更新するメトロポリス・ハスティングスアルゴリズムが、どのような条件下で定常分布に幾何的に収束するか。
• RQ2 状態に依存しない提案分布を用いた成分別MCMCにおいて、再帰的シミュレーションを効果的に応用してMCMCの標準誤差を推定する方法は何か。
• RQ3 成分別MCMCにおける状態に依存しない提案分布の使用が、収束性と誤差推定に及ぼす理論的および実用的意味は何か。
• RQ4 GLMMのような高次元で実用的な推論問題において、収束速度と標準誤差推定値はどのように振る舞うか。

主な発見

• 本稿は、やや弱い正則性条件の下で、1変数ずつ更新するメトロポリス・ハスティングス列の幾何的エルゴドゥシティを確立し、定常分布への一様収束を保証する。
• 再帰的シミュレーションは、トゥイ・ベイズモデルおよび一般化線形混合モデルの両方において、MCMCの標準誤差を一貫的かつ信頼性高く推定できることを示している。
• 状態に依存しない提案分布の使用により、理論的解析が簡素化され、収束性が保証された実装が可能になる。
• 実験的結果は、複雑な依存構造を有する高次元設定においても、提案手法が正確な標準誤差推定値を提供することを示している。