[論文レビュー] The block-Poisson estimator for optimally tuned exact subsampling MCMC

Matias Quiroz, Minh‐Ngoc Tran+3 more|arXiv (Cornell University)|Mar 27, 2016

Markov Chains and Monte Carlo Methods参考文献 27被引用数 5

ひとこと要約

本稿では、大規模データセットにおける正確なサブサンプリングMCMCのための、不偏な尤度推定器であるブロック・ポアソン推定器を提案する。ブロック単位のポアソンサンプリングと制御変数、およびソフトな下限値を用いることで、対数尤度推定値間の相関を高め、MCMCの効率を損なわずに小さなサブサンプルを許容する。主な貢献は、計算制約下での漸近的分散を最小化するための閉形式の最適サブサンプルサイズ選択ガイドラインの導出である。

ABSTRACT

Speeding up Markov Chain Monte Carlo (MCMC) for datasets with many observations by data subsampling has recently received considerable attention. A pseudo-marginal MCMC method is proposed that estimates the likelihood by data subsampling using a block-Poisson estimator. The estimator is a product of Poisson estimators, allowing us to update a single block of subsample indicators in each MCMC iteration so that a desired correlation is achieved between the logs of successive likelihood estimates. This is important since pseudo-marginal MCMC with positively correlated likelihood estimates can use substantially smaller subsamples without adversely affecting the sampling efficiency. The block-Poisson estimator is unbiased but not necessarily positive, so the algorithm runs the MCMC on the absolute value of the likelihood estimator and uses an importance sampling correction to obtain consistent estimates of the posterior mean of any function of the parameters. Our article derives guidelines to select the optimal tuning parameters for our method and shows that it compares very favourably to regular MCMC without subsampling, and to two other recently proposed exact subsampling approaches in the literature.

研究の動機と目的

• 大規模データセットにおける標準的MCMCの計算的ボトル neck を解消するため、効率的なデータサブサンプリングを可能にする。
• 連続する対数尤度推定値間の高い相関を実現する不偏尤度推定器を開発し、より小さなサブサンプルでMCMCの混合性能を向上させる。
• 疑似周辺尤度MCMCにおける負の尤度推定値の問題を、絶対値推定と重要度サンプリング補正を組み合わせることで効率的に解消する。
• 固定された計算予算下で漸近的分散を最小化する実用的で閉形式の最適サブサンプルサイズ選択ガイドラインを導出する。

提案手法

• ブロック・ポアソン推定器は、データブロックごとのポアソン推定器の積として尤度推定値を構築し、各MCMC反復でサブサンプルインジケータを部分的に更新可能にする。
• Bardenet et al. (2017) および Quiroz et al. (2019) の制御変数を用いて、ブロックレベルの推定器の分散を低減する。
• 厳密な下限値ではなく、構成要素のバッチ推定器にソフトな下限値を適用することで、計算効率を向上させつつ負の推定値を許容する。
• 負の尤度推定値は、符号付きPMHMにより処理される：MCMCは推定器の絶対値上で実行され、その後、事後平均推定のための重要度サンプリング補正が施される。
• ブロック・ポアソン推定器下での重要度サンプリング推定器の漸近的分散について、閉形式の表現を導出する。これにより、サブサンプルサイズの最適チューニングが可能になる。
• 最適チューニングは、計算予算を満たす制約下で漸近的分散を最小化することにより達成され、MCMCの非効率性、推定器コスト、負の推定値の発生確率のバランスが取られる。

実験結果

リサーチクエスチョン

• RQ1 既存のサブサンプリング手法と比較して、ブロック・ポアソン推定器は対数尤度推定値間の相関を高め、MCMCの効率を損なわずに小さなサブサンプルを許容できるか？
• RQ2 疑似周辺尤度MCMCにおける負の尤度推定値は、事後的一致性を保ちつつ効率的に処理できるか？
• RQ3 固定された計算予算下で、事後平均推定器の漸近的分散を最小化する最適なサブサンプル数は何か？
• RQ4 符号付きPMHMを用いたブロック・ポアソン推定器を用いる場合、最適サブサンプルサイズの閉形式ガイドラインを導出できるか？

主な発見

• ブロック・ポアソン推定器は、Bardenet et al. (2017) で用いられたRhee-Glynn推定器よりも低い分散を達成し、推定効率が向上する。
• ソフトな下限値の使用により、厳密な下限値と比較して計算コストが削減されつつ、負の推定値は重要度サンプリングで補正可能である。
• ブロック・ポアソン推定器下での重要度サンプリング推定器の漸近的分散は、閉形式で導出可能であり、サブサンプルサイズの正確な最適化が可能になる。
• 導出されたサブサンプルサイズ最適チューニングガイドラインは、理想化された仮定下でも実験的に非常に高い正確性を示している。
• 本手法は、標準的MCMCおよび2つの最近の正確なサブサンプリング手法と比較して、サンプリング効率および計算コストの点で優れている。