[論文レビュー] Fast Approximate Bayesian Computation for discretely observed Markov models using a factorised posterior distribution

Simon R. White, Theodore Kypraios+1 more|arXiv (Cornell University)|Jan 14, 2013

Markov Chains and Monte Carlo Methods参考文献 27被引用数 5

ひとこと要約

本稿では、離散的に観測されたマルコフ過程のための、後退を条件付き独立な成分に分解するための、区分的近似ベイズ推定（PW-ABC）手法を提案する。この手法により、要約統計量を用いずに効率的なABC推定が可能になる。各因子に対してABCを別々に適用し、ガウス近似またはカーネル密度推定を用いることで、きびしい許容誤差を設定でき、近似バイアスを低減するとともに、標準ABCと比較して計算コストを著しく削減する。

ABSTRACT

Many modern statistical applications involve inference for complicated stochastic models for which the likelihood function is difficult or even impossible to calculate, and hence conventional likelihood-based inferential echniques cannot be used. In such settings, Bayesian inference can be performed using Approximate Bayesian Computation (ABC). However, in spite of many recent developments to ABC methodology, in many applications the computational cost of ABC necessitates the choice of summary statistics and tolerances that can potentially severely bias the estimate of the posterior. We propose a new "piecewise" ABC approach suitable for discretely observed Markov models that involves writing the posterior density of the parameters as a product of factors, each a function of only a subset of the data, and then using ABC within each factor. The approach has the advantage of side-stepping the need to choose a summary statistic and it enables a stringent tolerance to be set, making the posterior "less approximate". We investigate two methods for estimating the posterior density based on ABC samples for each of the factors: the first is to use a Gaussian approximation for each factor, and the second is to use a kernel density estimate. Both methods have their merits. The Gaussian approximation is simple, fast, and probably adequate for many applications. On the other hand, using instead a kernel density estimate has the benefit of consistently estimating the true ABC posterior as the number of ABC samples tends to infinity. We illustrate the piecewise ABC approach for three examples; in each case, the approach enables "exact matching" between simulations and data and offers fast and accurate inference.

研究の動機と目的

• 離散的に観測されたマルコフ過程における標準ABC手法の高い計算コストとバイアスを解消すること。
• 従来のABCにおける主要なバイアス源である要約統計量と許容誤差の選択を排除すること。
• 後退の因子分解により小さな許容誤差を許容できるスケーラブルなABCフレームワークを構築し、高い精度を維持すること。
• 区分的後退における各因子の近似に用いるガウス近似とカーネル密度推定の性能を比較すること。
• 本手法の効率性と精度が、実世界の意味を持つ複数の確率的モデルにおいて有効であることを示すこと。

提案手法

• モデルのマルコフ性を活用して、パラメータの後退密度を、データの部分集合にのみ依存する項の積に分解する。
• 各因子に対して、ガウス近似またはカーネル密度推定を用いて、尤度成分をモデル化し、ABCを独立に適用する。
• 各因子に対して事前分布からのサンプルを用い、その因子のシミュレートされたデータが観測データから許容誤差内にある場合にのみ、パラメータ値を受理する。
• 各因子からのABCサンプルを組み合わせて、結合後退の近似を得る。全後退は個々の因子後退の積として推定される。
• ガウス近似の場合、各因子の密度を多変量正規分布で推定し、ABCサンプルから得られる平均と分散共分散行列を用いる。
• カーネル密度推定法では、非パラメトリックなカーネル推定器を用い、ABCサンプル数が増加するにつれて各因子の密度を一貫して近似する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ過程における後退の因子分解は、ABCの計算負荷を軽減しつつも高い精度を維持できるか？
• RQ2 区分的ABCによって要約統計量を排除することで、ヒューリスティックな要約統計量を用いる標準ABCよりも、より正確な後退近似が得られるか？
• RQ3 異なるモデルにおいて、ガウス近似とカーネル密度推定は、区分的ABC後退の推定においてどのように比較されるか？
• RQ4 区分的アプローチを用いる場合、計算コストが著しく増大することなく、きびしい許容誤差を用いたABCが可能か？
• RQ5 区分的ABC手法は、複雑な尤度を持つ多様な確率的モデルにおいてスケーラブルかつロバストか？

主な発見

• 区分的ABC手法により、計算コストが著しく増大することなく、非常に小さな許容誤差を用いることが可能になり、ABC近似誤差が顕著に低減される。
• 要約統計量を避けることで、標準ABCにおける主要なバイアス源が排除され、より正確な後退推定が可能になる。
• 各因子におけるカーネル密度推定法は、ABCサンプル数が増加するにつれて、真の区分的ABC後退に一貫して近似する。
• ガウス近似法は計算が高速で、尤度因子が概ね正規分布に近い場合に特に適している。
• 本手法は、エーレンフェスト模型、出生死滅過程、疫病モデル、確率的ボラティリティモデルの4つの多様なモデルに成功裏に適用され、それぞれ高速かつ正確な推定が達成された。
• 特に高精度推定が求められる状況では、計算効率と後退の正確性の両面で、標準ABCを上回る性能を示した。