[論文レビュー] Approximating the Likelihood in Approximate Bayesian Computation

Christopher Drovandi, Clara Grazian+2 more|arXiv (Cornell University)|Mar 18, 2018

Markov Chains and Monte Carlo Methods参考文献 73被引用数 10

ひとこと要約

本稿では、非パラメトリックな尤度推定をパラメトリックまたは経験的代替手法に置き換えることで、尤度フリー推論における近似ベイズ計算（ABC）の計算効率を向上させる2つの尤度近似手法—ベイジアン合成尤度（BSL）とベイジアン経験尤度（BCel）—を提案する。BSLは要約統計量の分布に対して多変量正規分布近似を用いるのに対し、BCelはモーメント制約を用いて経験尤度を構築する。両手法ともにシミュレーション回数を削減し、不適切な事前分布を用いてもベイズ因子によるモデル比較が可能になる。

ABSTRACT

This chapter will appear in the forthcoming Handbook of Approximate Bayesian Computation (2018). The conceptual and methodological framework that underpins approximate Bayesian computation (ABC) is targetted primarily towards problems in which the likelihood is either challenging or missing. ABC uses a simulation-based non-parametric estimate of the likelihood of a summary statistic and assumes that the generation of data from the model is computationally cheap. This chapter reviews two alternative approaches for estimating the intractable likelihood, with the goal of reducing the necessary model simulations to produce an approximate posterior. The first of these is a Bayesian version of the synthetic likelihood (SL), initially developed by Wood (2010), which uses a multivariate normal approximation to the summary statistic likelihood. Using the parametric approximation as opposed to the non-parametric approximation of ABC, it is possible to reduce the number of model simulations required. The second likelihood approximation method we consider in this chapter is based on the empirical likelihood (EL), which is a non-parametric technique and involves maximising a likelihood constructed empirically under a set of moment constraints. Mengersen et al (2013) adapt the EL framework so that it can be used to form an approximate posterior for problems where ABC can be applied, that is, for models with intractable likelihoods. However, unlike ABC and the Bayesian SL (BSL), the Bayesian EL (BCel) approach can be used to completely avoid model simulations in some cases. The BSL and BCel methods are illustrated on models of varying complexity.

研究の動機と目的

• 尤度フリー推論における標準ABC手法の高い計算コストとチューニングの煩わしさに対処すること。
• 尤度が閉形式で得られないモデルにおける後部分布近似に必要なモデルシミュレーション回数を削減すること。
• 非パラメトリックABCよりも要約統計量の次元に対してスケーリングが良い尤度近似手法の開発。
• 不適切な事前分布を用いてもベイズ因子によるモデル比較が可能な仕組みの実現。これは標準ABCの制限事項である。

提案手法

• BSLは、要約統計量が平均μ(θ)および分散-共分散行列Σ(θ)の多変量正規分布に従うと仮定し、モデルからのモンテカルロシミュレーションによってこれらを推定する。
• 合成尤度は、p_n(s_obs|θ) = N(s_obs; μ_n(θ), Σ_n(θ)) として定式化され、ここでnはモーメントを推定するために使用されたシミュレーション回数を表す。
• BCelは、要約統計量から導かれるモーメント制約の下で経験尤度を構築する。非パラメトリックフレームワークを用いるため、一部の状況ではモデルシミュレーションを完全に回避できる。
• BCelにおける制約は、再パラメトリゼーションに対して不変であり、従属構造に関する情報を含むように選ばれる。例えばスプリアマンのρがその例である。
• BSLおよびBCelは両方ともベイジアン枠組みに組み込まれ、近似後部分布を生成する。BCelでは正確なベイズ因子の計算が可能である。
• 本手法は、クリニカル・コプゥラを用いた多変量g-and-k分布など、複雑度が増すモデルを用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 要約統計量の尤度に対するパラメトリック近似は、ABCにおけるモデルシミュレーション回数を削減できるか？
• RQ2 要約統計量の次元が増加するに従って、BSLの計算効率とスケーラビリティはABCと比べてどのように変化するか？
• RQ3 経験尤度を用いることで、特定の状況ではモデルシミュレーションを完全に回避できる尤度近似が構築可能か？
• RQ4 ABCの文脈において、信頼性の高い経験尤度を構築するための最適な制約は何か？
• RQ5 BCelは、不適切な事前分布を用いてもベイズ因子によるモデル比較を可能にするか？これは標準ABCの制限事項である。

主な発見

• BSLは、要約統計量の分布に対するパラメトリックな多変量正規分布近似を用いることで、標準ABCと比較して必要なモデルシミュレーション回数を顕著に削減した。
• BCel手法は、観測データから導かれるモーメント制約に依存するため、一部の状況ではモデルシミュレーションを完全に回避できる。
• 多変量クリニカル・コプゥラのシミュレーション研究において、式（4）で定義されるスプリアマンのρの後部分布が、真の値0.5の周辺で正確に近似された。
• BCelは、不適切な事前分布を用いたモデル比較におけるベイズ因子の使用を可能にし、これは標準ABCでは実現できない特徴である。
• スケーリングされた複合尤度スコア関数などの制約の選定により、再パラメトリゼーションに対する不変性および後部分布の曲率への適応性が向上した。
• 実験的結果から、BSLおよびBCelの両手法が、高次元の要約統計量や複雑な依存構造を有する複雑なモデルに対しても、正確な後部分布近似を達成した。