[論文レビュー] Fast $\epsilon$-free Inference of Simulation Models with Bayesian Conditional Density Estimation

George Papamakarios, Iain Murray|arXiv (Cornell University)|May 20, 2016

Markov Chains and Monte Carlo Methods参考文献 25被引用数 27

ひとこと要約

この論文は、近似ベイズ計算（ABC）におけるε許容誤差の必要性を回避するためのベイジアン条件付き密度推定アプローチを提案する。ベイジアンニューラルネットワークを用いてパラメトリックな後方分布近似を学習し、初期推論でシミュレーションをガイドすることで、従来のABC手法と比較して、特にεが小さい領域において、モデルシミュレーションの回数を桁違いに削減しながらも、正確な後方分布推定を達成する。

ABSTRACT

Many statistical models can be simulated forwards but have intractable likelihoods. Approximate Bayesian Computation (ABC) methods are used to infer properties of these models from data. Traditionally these methods approximate the posterior over parameters by conditioning on data being inside an $\epsilon$-ball around the observed data, which is only correct in the limit $\epsilon\! ightarrow\!0$. Monte Carlo methods can then draw samples from the approximate posterior to approximate predictions or error bars on parameters. These algorithms critically slow down as $\epsilon\! ightarrow\!0$, and in practice draw samples from a broader distribution than the posterior. We propose a new approach to likelihood-free inference based on Bayesian conditional density estimation. Preliminary inferences based on limited simulation data are used to guide later simulations. In some cases, learning an accurate parametric representation of the entire true posterior distribution requires fewer model simulations than Monte Carlo ABC methods need to produce a single sample from an approximate posterior.

研究の動機と目的

• ε許容誤差とサンプルベースの後方分布近似に依存する従来の近似ベイズ計算（ABC）手法の非効率性と不正確さを是正すること。
• εボールに依存せずに、真の後方分布 p(θ | x = xo) を直接推定可能なパラメトリックでベイジアンなアプローチを開発すること。
• 初期推論による後方分布近似を用いて、その後続のシミュレーションをガイドすることで、正確な推論に必要な高価なモデルシミュレーション回数を削減すること。
• 科学分野における複雑で尤度が閉形式で得られないモデルに対しても、より正確で効率的な後方分布推定を可能にすること。

提案手法

• 真の後方分布 p(θ | x = xo) のパラメトリック近似として、条件付き密度 p(θ | x) をベイジアンニューラルネットワークでモデル化する。
• 二段階の推論プロセスを採用：まず、初期の少数のシミュレーションで条件付き密度推定器をフィット；次に、学習済みモデルを用いて、新たなシミュレーションのアクティブサンプリングをガイドする。
• 確率的変分推論と認識ネットワークを用いてベイジアンニューラルネットワークを訓練し、後方分布近似における不確実性の定量化を可能にする。
• 学習済みモデルの予測分布を活用して、後方密度が高くなる領域に注目するようにシミュレーション選択をガイドする。
• パイロットランを用いて要約統計量を正規化し、異なるスケールにわたる一般化性の向上とトレーニングの安定化を図る。
• パラメータの対数スケールで推論を実施することで、数値安定性の向上と事前分布の仮定との整合性を高める。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックなベイジアン条件付き密度推定器は、シミュレーション効率と後方分布の正確さにおいて、従来のABC手法を上回ることができるか？
• RQ2 初期の後方分布近似が、その後のシミュレーションをどれほど効果的にガイドできるか？ つまり、合計のモデル実行回数をどの程度削減できるか？
• RQ3 高次元で尤度が閉形式で得られないモデルにおいて、この手法は真の後方分布をどの程度正確に回復できるか？
• RQ4 提案手法により、ε許容誤差の必要性が完全に排除され、推論品質が維持または向上するか？

主な発見

• 提案手法は、従来のABC手法と比較して、モデルシミュレーション回数を桁違いに削減しながらも、正確な後方分布推定を達成する。一部のケースでは、必要なシミュレーション回数が著しく減少した。
• ε → 0 に近づくほど、標準ABCで用いられるε近似よりも、より正確なパラメトリックな後方分布近似を学習している。
• 初期推論によるシミュレーション選択のガイドを活用することで、計算リソースを後方密度が高くなる領域に集中させ、収束速度と正確さが向上する。
• 捕食者・被食者モデルおよび M/G/1 キューイングモデルの両方において、真のパrameter値が学習済み後方分布において高い対数尤度値を示し、真のパrameter値を効果的に回復している。
• パイロットランを用いた要約統計量の正規化により、モデルの安定性が向上し、条件付き密度推定器の有効なトレーニングが可能になった。
• 標準ABCが高価なシミュレーションコストのため実用的でなくなるような、複雑で尤度が閉形式で得られないモデルに対しても、本手法は優れた性能を示した。