[論文レビュー] On automating Markov chain Monte Carlo for a class of spatial models

Murali Haran, Luke Tierney|arXiv (Cornell University)|May 2, 2012

Statistical Methods and Bayesian Inference参考文献 35被引用数 11

ひとこと要約

本稿では、空間一般化線形モデルにおける自動的かつ理論的裏付けのあるマルコフ連鎖モンテカルロ（MCMC）フレームワークを提案する。重タール後方分布近似を活用することで、高速に混合するサンプリング手法を構築する。この手法により、自動初期化が可能となり、一貫した標準誤差推定を用いた信頼性の高い収束診断と、理論的根拠に基づく停止ルールが得られ、独立モンテカルロサンプリングと同等の性能を発揮しながらも、厳密な正確性制御を維持する。

ABSTRACT

Markov chain Monte Carlo (MCMC) algorithms provide a very general recipe for estimating properties of complicated distributions. While their use has become commonplace and there is a large literature on MCMC theory and practice, MCMC users still have to contend with several challenges with each implementation of the algorithm. These challenges include determining how to construct an efficient algorithm, finding reasonable starting values, deciding whether the sample-based estimates are accurate, and determining an appropriate length (stopping rule) for the Markov chain. We describe an approach for resolving these issues in a theoretically sound fashion in the context of spatial generalized linear models, an important class of models that result in challenging posterior distributions. Our approach combines analytical approximations for constructing provably fast mixing MCMC algorithms, and takes advantage of recent developments in MCMC theory. We apply our methods to real data examples, and find that our MCMC algorithm is automated and efficient. Furthermore, since starting values, rigorous error estimates and theoretically justified stopping rules for the sampling algorithm are all easily obtained for our examples, our MCMC-based estimation is practically as easy to perform as Monte Carlo estimation based on independent and identically distributed draws.

研究の動機と目的

• 空間一般化線形モデルにおけるMCMC実装の長年の課題、たとえばチューニング、収束診断、サンプルサイズの決定について解決すること。
• 手動チューニングを排除し、厳密な誤差制御を提供する理論的裏付けのある自動MCMCフレームワークを構築すること。
• 後方分布の解析的近似を用いて、証明可能に高速に混合するサンプリング手法を構築すること。
• 独立モンテカルロサンプリングの簡便さに匹敵する実用的でユーザーフレンドリーなMCMC推論を実現すること。

提案手法

• 階層的空間モデルにおける複雑な後方分布に対して、重タール近似を導出し、ロバストなサンプリングを可能にする。
• 重タール近似を用いて独立メトロポリス・ハスティングスサンプラーを構築し、高速な混合と高い受容率を確保する。
• 同じ近似に基づくリジェクションサンプリングを用いて、必要に応じて後方分布からの正確なサンプルを生成する。
• 最近のMCMC出力解析ツール（例：Flegal et al., 2008; Jones et al., 2006）を活用し、一貫した標準誤差推定と停止ルールの決定を行う。
• 後方分布の尾部挙動および二次形式の境界に関する理論的結果を統合し、真の後方分布と提案密度の比が一様に有界であることを保証する。
• 実空間データセットにこのフレームワークを適用し、実際の自動化と効率性を実証する。

実験結果

リサーチクエスチョン

• RQ1 空間一般化線形モデルにおけるMCMCサンプラーの高速混合を実現するため、後方分布に対する重タール近似を構築することは可能か？
• RQ2 MCMCの標準誤差を一貫して推定することで、理論的根拠に基づく停止ルールと収束診断を可能にする方法は何か？
• RQ3 手動チューニングや事前知識なしに、MCMCの初期値を自動的に決定することは可能か？
• RQ4 自動MCMCは、正確性と使いやすさの観点から、独立サンプリングとどの程度同等の性能を達成できるか？

主な発見

• 提案されたMCMCアルゴリズムは、真の後方分布の尾部挙動をよく再現する重タール近似を用いることで、高速な混合を達成する。
• ややいなごうな正則性条件のもとで、真の後方分布と提案密度の比が一様に有界であることが保証され、幾何的エルゴドゥーシティと高速収束が得られる。
• 一貫した標準誤差推定が可能であり、望ましい精度水準に基づく理論的根拠に基づく停止ルールの設定が可能になる。
• 初期値は近似に基づいて自動的に生成され、手動初期化の必要がなくなる。
• この手法により、MCMC推論が独立モンテカルロサンプリングと同等の実用的簡便さにまで簡素化され、厳密な正確性制御が維持される。
• 実空間データセットへの応用により、異なるモデル設定においても、本手法の効率性、自動化、頑健性が確認された。