[論文レビュー] Exact Subsampling MCMC

Matias Quiroz, Minh‐Ngoc Tran+2 more|arXiv (Cornell University)|Mar 27, 2016

Markov Chains and Monte Carlo Methods参考文献 23被引用数 25

ひとこと要約

この論文は、不偏尤度推定と重要度サンプリング補正を組み合わせることで、計算効率を確保しながら完全な統計的正確性を維持する正確なサブサンプリングMCMC手法を提案する。正の低分散尤度推定を保証するため、ソフトな下限と制御変数を用い、絶対値に対して相関のある擬似周辺尤度MCMCを適用し、符号は低分散重要度サンプリングで補正する。

ABSTRACT

Speeding up Markov Chain Monte Carlo (MCMC) for datasets with many observations by data subsampling has recently received considerable attention in the literature. Most of the proposed methods are approximate, and the only exact solution has been documented to be highly inefficient. We propose a simulation consistent subsampling method for estimating expectations of any function of the parameters using a combination of MCMC subsampling and the importance sampling correction for occasionally negative likelihood estimates in Lyne et al. (2015). Our algorithm is based on first obtaining an unbiased but not necessarily positive estimate of the likelihood. The estimator uses a soft lower bound such that the likelihood estimate is positive with a high probability, and computationally cheap control variables to lower variability. Second, we carry out a correlated pseudo marginal MCMC on the absolute value of the likelihood estimate. Third, the sign of the likelihood is corrected using an importance sampling step that has low variance by construction. We illustrate the usefulness of the method with two examples.

研究の動機と目的

• 大規模データセットに対して計算的に非現実的であるため、既存の正確なサブサンプリングMCMC手法の非効率性を是正すること。
• 近似サブサンプリング手法の限界を克服し、正確な事後分布推論を維持しながら計算コストを低減すること。
• 計算可能性を損なわず、事後期待値の不偏推定を保証する手法を開発すること。
• 制御変数とソフトな下限を用いて尤度推定の分散を最小限に抑えることで、サンプリング効率を向上させること。
• サブサンプリングと頑健な補正技術を組み合わせることで、大規模データセットにおける正確なMCMCの実用的応用を可能にすること。

提案手法

• 個々のサブサンプルが負の推定値を生じる場合でも、尤度推定が高確率で正となるように、ソフトな下限を用いる。
• 分散を低減するための制御変数を用いて、不偏ではあるが負の値を取りうる尤度推定器を構築する。
• 詳細なバランスを保ち、正しい事後分布への収束を保証するために、尤度推定の絶対値に対して相関のある擬似周辺尤度MCMCを適用する。
• 構成上低分散となるように設計された重要度サンプリングステップを用いて、尤度推定の符号を補正する。
• 尤度推定器の構造を活用して、MCMCの有効性を維持しながら、大規模データセットにおける効率的計算を可能にする。
• サブサンプリングと重要度サンプリング補正を組み合わせることで、全データMCMCの計算的負担なしに正確な推論を達成する。

実験結果

リサーチクエスチョン

• RQ1 計算コストを大幅に削減しつつ統計的正確性を維持する正確なサブサンプリングMCMC手法を設計可能か？
• RQ2 サブサンプリングによる負の尤度推定を、バイアスや高分散を導入せずに補正できるか？
• RQ3 制御変数とソフトな下限は、大規模データセットにおける尤度推定の安定化と分散低減に果たす役割は何か？
• RQ4 絶対尤度推定値に対して相関のある擬似周辺尤度MCMCを効果的に適用でき、正確な事後分布推論を維持できるか？
• RQ5 提案手法は、既存の近似および正確なサブサンプリングMCMC手法と比較して、効率性と正確性の面で優れているか？

主な発見

• 不偏尤度推定と符号の低分散重要度サンプリング補正を組み合わせることで、正確な事後分布推論を達成する。
• ソフトな下限の使用により、尤度推定が高確率で正となることが保証され、安定なMCMCサンプリングが可能になる。
• 制御変数は尤度推定器の分散を顕著に低減し、MCMCアルゴリズムの効率性を向上させる。
• 絶対尤度推定値に対する相関のある擬似周辺尤度MCMCステップは、詳細なバランスを維持し、正しい事後分布への収束を保証する。
• 尤度の符号に対する重要度サンプリング補正は、構成上低分散となるように設計されており、全体のサンプリング効率を向上させる。
• 2つの実験例を用いた実証的検証により、既存の正確および近似サブサンプリング手法と比較して、実用的かつ計算上の利点を示している。