[論文レビュー] Block-Wise Pseudo-Marginal Metropolis-Hastings

Minh‐Ngoc Tran, Robert Kohn+2 more|arXiv (Cornell University)|Mar 8, 2016

Markov Chains and Monte Carlo Methods参考文献 31被引用数 15

ひとこと要約

この論文は、乱数をブロックに分割することで、尤度推定値の相関を高め、ベイズ推論の効率を向上させるブロック単位の擬似周辺化メトロポリス・ハスティングス法を導入する。現在と提案されたパラメータにおける尤度推定値の差が1つのブロックのみに限られるようにすることで、対数尤度推定値間の相関を高め、理論的分析を簡素化し、パネルデータやサブサンプリングの応用において顕著な高速化を実現する。

ABSTRACT

The pseudo-marginal Metropolis-Hastings approach is increasingly used for Bayesian inference in statistical models where the likelihood is analytically intractable but can be estimated unbiasedly, such as random effects models and state-space models, or for data subsampling in big data settings. In a seminal paper, Deligiannidis et al. (2015) show how the pseudo-marginal Metropolis-Hastings (PMMH) approach can be made much more e cient by correlating the underlying random numbers used to form the estimate of the likelihood at the current and proposed values of the unknown parameters. Their proposed approach greatly speeds up the standard PMMH algorithm, as it requires a much smaller number of particles to form the optimal likelihood estimate. We present a closely related alternative PMMH approach that divides the underlying random numbers mentioned above into blocks so that the likelihood estimates for the proposed and current values of the likelihood only di er by the random numbers in one block. Our approach is less general than that of Deligiannidis et al. (2015), but has the following advantages. First, it provides a more direct way to control the correlation between the logarithms of the estimates of the likelihood at the current and proposed values of the parameters. Second, the mathematical properties of the method are simplified and made more transparent compared to the treatment in Deligiannidis et al. (2015). Third, blocking is shown to be a natural way to carry out PMMH in, for example, panel data models and subsampling problems. We obtain theory and guidelines for selecting the optimal number of particles, and document large speed-ups in a panel data example and a subsampling problem.

研究の動機と目的

• 不確実な尤度に対する従来の擬似周辺化MCMC手法の代替として、より透明性があり、効率的な手法の開発。
• 乱数を構造的にブロック化することで、現在と提案されたパラメータにおける対数尤度推定値間の相関を向上。
• 従来の相関のある乱数を用いる手法と比較して、擬似周辺化アルゴリズムの理論的分析を簡素化。
• ブロック単位のPMHHにおける最適な粒子数の選定に関する実用的ガイドラインの提供。
• パネルデータモデルやビッグデータのサブサンプリング問題において、顕著な計算上の高速化を示すこと。

提案手法

• 尤度推定に用いるi.i.d.乱数の集合を互いに素なブロックに分割する。
• 各MCMC反復において、新しいパラメータ値を提案する際には、1つのブロックのみを再サンプリングし、他のブロックは固定されたままにする。
• これにより、現在と提案されたパラメータにおける尤度推定値の差が1つのブロックに限定され、相関が高まる。
• 対数尤度推定値は、ブロック固有のパーティクルフィルターや不偏推定量を用いて計算する。
• 標準的なメトロポリス・ハスティングスの受容率を、ブロック単位の尤度推定値を用いて用いる。
• 対数尤度推定値の分散に基づいて理論的ガイドラインから最適な粒子数を決定する。

実験結果

リサーチクエスチョン

• RQ1 現在と提案されたパラメータにおける対数尤度推定値間の相関を、制御可能で理論的に取り扱いやすい方法で高めることは可能か？
• RQ2 乱数をブロック化することで、擬似周辺化MCMCアルゴリズムの混合速度を向上させ、分散を低減できるか？
• RQ3 与えられたモデルに対して、ブロック単位のPMHHで使用する最適な粒子数は何か？
• RQ4 相関のある乱数を用いる従来の手法と比較して、ブロック単位のアプローチは計算効率において優れているか？
• RQ5 パネルデータやサブサンプリングのような設定において、ブロック単位の手法が最も効果を発揮するのはどのような状況か？

主な発見

• ブロック単位の手法は、標準的なPMHHと比較して、対数尤度推定値間の相関を高め、受容率の分散を低減する。
• Deligiannidis et al. (2015) よりも理論的分析が簡素化され、より明確な数学的性質を有する。
• パネルデータモデルでは、収束に必要な粒子数を大幅に削減でき、顕著な高速化が達成される。
• サブサンプリング問題では、ブロック単位のPMHHが、顕著に少ない尤度評価回数で同等の精度を達成する。
• 最適な粒子数の選定に関するガイドラインが導出され、実際の応用でも有効であることが示された。
• グループ固有の効果を有するパネルデータのような、モジュラーや構造的潜在変数を持つモデルに、この手法は自然に適合する。