[論文レビュー] Bootstrapped synthetic likelihood

Richard G. Everitt|arXiv (Cornell University)|Nov 15, 2017

Markov Chains and Monte Carlo Methods参考文献 10被引用数 8

ひとこと要約

本稿では、バグ・オブ・リトル・ブートストラップ（BLB）を用いて合成尤度推定の分散を低減する、ブートストラップ付き合成尤度（BLB-SL）を導入する。これにより、少ないシミュレーション回数で精度の高いベイズ推論が可能になる。BLB-SLは、サブサンプリングと回帰ベースの平均推定を用いることで、大規模データセットでも信頼性の高い事後分布近似を達成しており、標準的なSLに比べて著しく効率が向上していることが示された。

ABSTRACT

Approximate Bayesian computation (ABC) and synthetic likelihood (SL) techniques have enabled the use of Bayesian inference for models that may be simulated, but for which the likelihood cannot be evaluated pointwise at values of an unknown parameter $θ$. The main idea in ABC and SL is to, for different values of $θ$ (usually chosen using a Monte Carlo algorithm), build estimates of the likelihood based on simulations from the model conditional on $θ$. The quality of these estimates determines the efficiency of an ABC/SL algorithm. In standard ABC/SL, the only means to improve an estimated likelihood at $θ$ is to simulate more times from the model conditional on $θ$, which is infeasible in cases where the simulator is computationally expensive. In this paper we describe how to use bootstrapping as a means for improving SL estimates whilst using fewer simulations from the model, and also investigate its use in ABC. Further, we investigate the use of the bag of little bootstraps as a means for applying this approach to large datasets, yielding Monte Carlo algorithms that accurately approximate posterior distributions whilst only simulating subsamples of the full data. Examples of the approach applied to i.i.d., temporal and spatial data are given.

研究の動機と目的

• シミュレーションコストを増加させることなく、尤度推定の分散を低減することで、合成尤度（SL）の効率を向上させること。
• バグ・オブ・リトル・ブートストラップ（BLB）を用いてサブサンプルからの分散推定を実施することで、計算負荷を軽減し、SLを大規模データセットに拡張すること。
• ブートストラップによる分散推定と回帰を組み合わせることで、全データのシミュレーションが不可能な状況下でも、SLにおける事後分布近似が正確に得られるかどうかを調査すること。
• 特に、事後分布の正確性とモンテカルロ効率の観点から、BLB-SLと標準的なSLおよびABCの性能を比較して評価すること。

提案手法

• 全データサイズ $ N $ からサイズ $ n $ の複数のサブサンプルをバグ・オブ・リトル・ブートストラップ（BLB）を用いて生成し、スケーラブルな分散推定を可能にする。
• サブサンプルからの要約統計量の共分散行列 $ \\-widehat{\Sigma}_{\theta} $ をブートストラップで推定することで、全データのシミュレーションに比べて計算コストを低減する。
• 複数のBLBによる平均推定量 $ \widehat{\mu}_{\theta} $ の推定値を組み合わせるために局所線形回帰を用い、平均推定値の分散とバイアスを低減する。
• 改良されたSL推定値を順次モンテカルロ（SMC）またはMCMCアルゴリズムに統合し、事後分布の近似を実現する。
• 時系列や空間データにおける依存性を補正するため、ブロックBLBにおけるスケーリングを適用し、一貫性のある分散推定を保証する。
• 独立同一分布（i.i.d.）、時系列、空間的モデルからの要約統計量を用いた合成尤度を用いて、本手法を検証し、イジングモデルも含む。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップは、追加のシミュレーションコストを最小限に抑えつつ、合成尤度推定の分散を低減できるか？
• RQ2 バグ・オブ・リトル・ブートストラップ（BLB）は、サブサンプリングを用いることで、大規模データセットにおける正確な合成尤度推定を可能にするか？
• RQ3 BLB平均推定値の回帰ベース補正は、元のBLB推定値がノイズが多い状況下でも、SLにおける事後分布の正確性を著しく向上させられるか？
• RQ4 モンテカルロ効率と事後分布の正確性の観点から、BLB-SLは標準的なSLおよびABCに比べてどのように差をつけるか？
• RQ5 大規模データ環境下で、BLB-SLはどのような条件下で低バイアスと高い有効サンプルサイズ（ESS）を維持するか？

主な発見

• BLB-SLは、交換アルゴリズムから得られる真の事後分布に非常に近い事後分布近似を達成しており、特に $ C = 100 $ および $ n = 10,000 $ の場合、バイアスと分散が最小限に抑えられている。
• $ C = 200 $ および $ n = 2,500 $（つまり $ N/n = 400 $）を用いても依然として正確な事後分布が得られ、高いサブサンプリング比に対してもロバストであることが示された。
• SMCサンプラーの有効サンプルサイズ（ESS）は、BLB平均推定値の分散が高くなると低下する傾向を示しており、分散低減が効率性にとって不可欠であることを裏付けている。
• 回帰ベースの平均推定により、元のBLB推定値がノイズが多い状況下でも、十分に分散が低減され、正確な事後分布が得られることが確認された。
• イジングモデルの例では、$ C $ が十分に大きい場合、バイアスが低く、事後標準偏差がよく近似されており、高い精度を維持している。
• BLB-SLは、全データのシミュレーションコストが高いため、標準的なABC/SLでは計算が非現実的となる大規模データ環境でも、スケーラブルなベイズ推論を可能にする。