[論文レビュー] Behaviour of ABC for Big Data

Wentao Li, Paul Fearnhead|arXiv (Cornell University)|Jun 10, 2015

Markov Chains and Monte Carlo Methods参考文献 42被引用数 1

ひとこと要約

本稿は、大標本条件下における近似ベイズ推論（ABC）における事後平均の漸近正規性を確立し、パラメーターベクトルの次元と等しい次元の要約統計量を用いることで漸近的分散を最小化できることを示している。さらに、適切に選ばれた提案分布を用いた重要度抽出法により、要約統計量に基づく最尤推定量と同等の推定分散を達成でき、大規模データにおける効率的なABC推論を可能にしている。

ABSTRACT

Many statistical applications involve models for which it is difficult to evaluate the likelihood, but from which it is relatively easy to sample. Approximate Bayesian computation is a likelihood-free method for implementing Bayesian inference in such cases. We present results on the asymptotic variance of estimators obtained using approximate Bayesian computation in a large-data limit. Our key assumption is that the data are summarized by a fixed-dimensional summary statistic that obeys a central limit theorem. We prove asymptotic normality of the mean of the approximate Bayesian computation posterior. This result also shows that, in terms of asymptotic variance, we should use a summary statistic that is the same dimension as the parameter vector, p; and that any summary statistic of higher dimension can be reduced, through a linear transformation, to dimension p in a way that can only reduce the asymptotic variance of the posterior mean. We look at how the Monte Carlo error of an importance sampling algorithm that samples from the approximate Bayesian computation posterior affects the accuracy of estimators. We give conditions on the importance sampling proposal distribution such that the variance of the estimator will be the same order as that of the maximum likelihood estimator based on the summary statistics used. This suggests an iterative importance sampling algorithm, which we evaluate empirically on a stochastic volatility model.

研究の動機と目的

• 大規模データの極限におけるABC事後推定量の漸近的分散を分析すること。
• ABCにおける事後分散を最小化するための要約統計量の最適次元を特定すること。
• 重要度抽出法に起因するモンテカルロ誤差がABC推定量の精度に与える影響を調査すること。
• ABCにおける重要度抽出法が最尤推定量と同等の分散を達成する条件を同定すること。
• 大規模データ環境におけるABCのための反復的重要度抽出法を提案し、実験的に評価すること。

提案手法

• データが固定次元の要約統計量によって要約され、中心極限定理を満たすと仮定する。
• この仮定の下でABC事後平均の漸近正規性を証明する。
• 得られる推定量の分散が、要約統計量に基づく最尤推定量の分散と同程度のオーダーになるよう、重要度抽出法の提案分布に必要な条件を導出する。
• 提案分布を段階的に改善することで分散を低減する反復的重要度抽出法を提案する。
• 実際の性能を評価するために、確率的ボラティリティモデル上でのアルゴリズムの実験的評価を行う。
• 高次元の要約統計量を次元pに線形変換することで、漸近的分散を増加させずに次元を削減する。

実験結果

リサーチクエスチョン

• RQ1 大標本条件下におけるABC事後平均の漸近的分布は何か？
• RQ2 要約統計量の次元は、ABC事後平均の漸近的分散にどのように影響するか？
• RQ3 ABCにおける重要度抽出法が最尤推定量と同等の分散を達成するための条件は何か？
• RQ4 反復的重要度抽出法は、大規模データ環境におけるABC推定精度を向上させることができるか？
• RQ5 高次元の要約統計量を、漸近的分散を増加させずに次元pに削減することは可能か？

主な発見

• 要約統計量が中心極限定理を満たすという仮定の下で、ABC事後平均は漸近的に正規分布に従う。
• パラメーターベクトルの次元pと等しい次元の要約統計量を用いることで、ABC事後平均の漸近的分散が最小化される。
• より高次元の要約統計量は、漸近的分散を増加させない形で次元pに線形変換可能である。
• ある種の正則性条件を満たす提案分布を用いた重要度抽出法により、要約統計量に基づく最尤推定量と同程度のオーダーの分散を持つ推定量が得られる。
• 提案された反復的重要度抽出法は、確率的ボラティリティモデルにおける実験的評価で推定誤差を低減し、効率性を向上させた。
• 理論的分散の上限から、適切に選ばれた重要度抽出法の提案分布と組み合わせることで、ABCは近似的に最適な効率性を達成できることが示唆される。