[論文レビュー] Exact ABC using Importance Sampling

Minh Ngoc Tran, Robert Kohn|arXiv (Cornell University)|Jan 1, 2015

Markov Chains and Monte Carlo Methods参考文献 8被引用数 4

ひとこと要約

本稿では、重要度サンプリングを用いたデバイアス化技術を組み合わせることで、標準的な近似ベイズ推論（ABC）に内在する系統的誤差を排除する、Exact ABC（EABC-IS2）を提案する。この手法は、系列的に減少する許容誤差レベル ǫk に対して確率的ランダマイズを施すことで、尤度 p(sobs|θ) の不偏推定量を構築し、尤度推定値の不偏性を保つ。重要度サンプリングを用いることで、許容誤差を必要とせず、真の事後期待値へのほとんど確実な収束が達成される。ガウス分布およびイジングモデルの数値例から、サンプルサイズの増加に伴い、真の値に一貫して収束することが示された。

ABSTRACT

Approximate Bayesian Computation (ABC) is a powerful method for carrying out Bayesian inference when the likelihood is computationally intractable. However, a drawback of ABC is that it is an approximate method that induces a systematic error because it is necessary to set a tolerance level to make the computation tractable. The issue of how to optimally set this tolerance level has been the subject of extensive research. This paper proposes an ABC algorithm based on importance sampling that estimates expectations with respect to the "exact" posterior distribution given the observed summary statistics. This overcomes the need to select the tolerance level. By "exact" we mean that there is no systematic error and the Monte Carlo error can be made arbitrarily small by increasing the number of importance samples. We provide a formal justification for the method and study its convergence properties. The method is illustrated in two applications and the empirical results suggest that the proposed ABC based estimators consistently converge to the true values as the number of importance samples increases. Our proposed approach can be applied more generally to any importance sampling problem where an unbiased estimate of the likelihood is required.

研究の動機と目的

• 標準的な ABC 法における許容誤差 ǫ > 0 に起因する系統的誤差を是正すること。
• 近似尤度に依存せずに、真の事後分布 p(θ|sobs) における期待値を推定する手法を開発すること。
• 不偏尤度推定に基づく重要度サンプリング推定量の形式的裏付けと収束解析を提供すること。
• 提案手法の推定量がサンプル数の増加に伴い真の事後平均に収束することを実証的に示すこと。
• 不偏尤度推定が必要となる任意の重要度サンプリング問題に一般化可能なアプローチを提供すること。

提案手法

• Rhee と Glynn (2013)、McLeish (2012) のデバイアス化フレームワークを用い、系列的に減少する許容誤差レベル ǫk の上での確率的ランダマイズにより、尤度 p(sobs|θ) の不偏推定量を構築する。
• p(·|θ) に従う疑似データ s_i^k ∼ p(·|θ) の系列を用い、カーネル密度推定により ABC 尤度 pABC,ǫk(sobs|θ) を推定する。
• 不偏尤度推定量を用いた重要度サンプリングにより、事後期待値 E[ϕ(θ)|sobs] を推定し、推定量が真の値にほとんど確実に収束することを保証する。
• P(T ≥ k) > 0 を満たす確率的停止時刻 T を導入し、不偏推定量 bλ = ζ₀ + Σ_{k=1}^T ̟k(ζk − ζk−1) を構築する。ここで ̟k = 1/P(T ≥ k) である。
• 不偏推定量の分散が有限であるための理論的条件を導出し、収束性を保証する。
• 提案分布 gIS(θ) と重み bw(θ, u) を用いて、重要度サンプリング枠組み内のサンプルを再重み付けし、一貫性および漸近正規性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ランダマイズとデバイアス化技術を用いて、ABC における不確実な尤度の不偏推定量を構築できるか？
• RQ2 提案された EABC-IS2 法は、ABC 推論における許容誤差 ǫ > 0 に起因する系統的誤差を解消するか？
• RQ3 不偏尤度に基づく重要度サンプリング推定量は、真の事後期待値にほとんど確実に収束するか？
• RQ4 サンプルサイズの増加に伴い、EABC-IS2 の性能は標準的な ABC および正確な MCMC と比較して、精度と収束性において優れているか？
• RQ5 不偏尤度推定量の分散が有限となる条件は何か？ これは重要度サンプリング推定量の収束を保証する。

主な発見

• イジングモデルにおける EABC-IS2 の事後平均推定量は、M = 200,000 のサンプルで 0.5099 (0.0001) に収束し、1,000,000 回の反復で得られた正確な MCMC 推定値 0.5099 と一致した。
• 重要度サンプル数 M の増加に伴い、EABC-IS2 の推定値は一貫して真の事後平均に近づき、系統的バイアスなしにほとんど確実な収束を示した。
• イジングモデルにおいて、ABC-PMMH は ǫ = 0.1, 1, 10 の各条件下で、それぞれ 0.5100, 0.5108, 0.5094 の偏った推定値を示し、M が大きくても依然として系統的バイアスが持続した。
• 理論的解析により、カーネルおよび尤度に関する正則性条件の下で、不偏尤度推定量の分散が有限であることが証明され、重要度サンプリング推定量の収束性が保証された。
• 推定量は漸近正規性を満たし、√M( Êπ(ϕ) − Eπ(ϕ) ) が分布的に N(0, σ²ϕ) に収束することを確認した。これにより、有効な統計的推論が可能であることが裏付けられた。
• 本手法は、不偏尤度推定が求められる任意の重要度サンプリング問題に一般化可能であり、ABC を超えてより広範なベイズ計算の文脈へ応用可能である。