[論文レビュー] On the Asymptotic Efficiency of Approximate Bayesian Computation Estimators

Wentao Li, Paul Fearnhead|arXiv (Cornell University)|Jun 10, 2015

Markov Chains and Monte Carlo Methods参考文献 47被引用数 8

ひとこと要約

本稿では、大標本下での近似ベイズ計算（ABC）における事後平均の漸近正規性を確立し、その漸近分散が、パrameterベクトルの次元と等しい次元をもつ要約統計量を使用する際に最小化されることを示している。さらに、次元がより高い要約統計量は、分散を増加させることなく次元pに線形に縮約可能であることが示され、ABCにおける重要度サンプリングが、要約統計量に基づく最尤推定量と同一の漸近分散に達するための条件も提示している。

ABSTRACT

Many statistical applications involve models for which it is difficult to evaluate the likelihood, but from which it is relatively easy to sample. Approximate Bayesian computation is a likelihood-free method for implementing Bayesian inference in such cases. We present results on the asymptotic variance of estimators obtained using approximate Bayesian computation in a large-data limit. Our key assumption is that the data are summarized by a fixed-dimensional summary statistic that obeys a central limit theorem. We prove asymptotic normality of the mean of the approximate Bayesian computation posterior. This result also shows that, in terms of asymptotic variance, we should use a summary statistic that is the same dimension as the parameter vector, p; and that any summary statistic of higher dimension can be reduced, through a linear transformation, to dimension p in a way that can only reduce the asymptotic variance of the posterior mean. We look at how the Monte Carlo error of an importance sampling algorithm that samples from the approximate Bayesian computation posterior affects the accuracy of estimators. We give conditions on the importance sampling proposal distribution such that the variance of the estimator will be the same order as that of the maximum likelihood estimator based on the summary statistics used. This suggests an iterative importance sampling algorithm, which we evaluate empirically on a stochastic volatility model.

研究の動機と目的

• 大標本極限下でのABC事後平均の漸近分布を確立すること。
• ABCにおける漸近分散を最小化するための要約統計量の最適次元を特定すること。
• 重要度サンプリングに起因するモンテカルロ誤差がABC推定量の精度に与える影響を分析すること。
• ABCにおける重要度サンプリングが、要約統計量に基づく最尤推定量と同一の漸近分散に達するための条件を導出すること。
• ABC推論における効率性を向上させる反復的重要な度サンプリングアルゴリズムの提案すること。

提案手法

• 著者たちは、要約統計量が中心極限定理を満たすものと仮定して、ABC事後平均の漸近分布を導出している。
• 彼らは、事後平均の漸近分散が、要約統計量の次元がパrameterベクトルの次元pと等しい場合に最小化されることを証明している。
• 本稿では、次元がpより高い任意の要約統計量が、漸近分散を増加させることなく次元pに線形変換可能であることを示している。
• 重要度サンプリングABCにおけるモンテカルロ誤差を分析し、推定量の漸近分散が要約統計量に基づく最尤推定量のそれと一致するようにするための提案分布に関する条件を導出している。
• 反復的重要な度サンプリングアルゴリズムが提案され、確率的ボラティリティモデルを用いて実験的に評価されている。
• 理論的結果は、カーネル密度近似、変数変換、集中不等式を用いた一連の補題および漸近的議論によって裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 大標本下でのABC事後平均の漸近分布は何か？
• RQ2 要約統計量の次元は、ABC推定量の漸近分散にどのように影響するか？
• RQ3 次元がより高い要約統計量は、効率の損失なしに次元pに縮約可能か？
• RQ4 ABCにおける重要度サンプリングが、要約統計量に基づく最尤推定量と同一の漸近分散に達するための条件は何か？
• RQ5 ABCにおいて、最尤推定量の効率性に匹敵する反復的重要な度サンプリングアルゴリズムを設計可能か？

主な発見

• ABC事後分布の事後平均は、大標本下で漸近的に正規分布に従う。
• ABC事後平均の漸近分散は、要約統計量の次元がパrameterベクトルの次元pと等しい場合に最小化される。
• 次元がpより高い任意の要約統計量は、漸近分散を増加させることなく次元pに線形変換可能である。
• 重要度サンプリングの提案分布が特定の正則性条件を満たす場合、ABC推定量の漸近分散は、要約統計量に基づく最尤推定量のそれと一致する。
• 本稿で提案された反復的重要な度サンプリングアルゴリズムは、確率的ボラティリティモデルの例において、最尤推定量と同等の分散性能を達成している。
• 理論的結果は、カーネル密度近似、変数変換、集中不等式を用いた一連の漸近的議論によって裏付けられている。