[論文レビュー] Adaptive MCMC for synthetic likelihoods and correlated synthetic likelihoods

Umberto Picchini, Umberto Simola+1 more|arXiv (Cornell University)|Apr 9, 2020

Gaussian Processes and Bayesian Inference参考文献 53被引用数 5

ひとこと要約

本稿では、計算コストを低減し、特に事後確率が低い領域においても混合性を向上させるために、合成尤度（SL）のための2つの適応的MCMC戦略を提案する。逐次的に提案分布をチューニングし、相関のある粒子フィルタリング技術を活用することで、MCMCの効率が向上し、宇宙論的および非ガウス型確率的システムのような困難なモデルに対しても成功した推論が可能になる。

ABSTRACT

Synthetic likelihood (SL) is a strategy for parameter inference when the likelihood function is analytically or computationally intractable. In SL, the likelihood function of the data is replaced by a multivariate Gaussian density for summary statistics compressing the observed data. SL requires simulation of many replicate datasets at every parameter value considered by a sampling algorithm, such as MCMC, making the method computationally-intensive. We propose two strategies to alleviate the computational burden imposed by SL algorithms. We first introduce a novel MCMC algorithm for SL where the proposal distribution is sequentially tuned. Second, we exploit strategies borrowed from the correlated particle filters literature, to improve the MCMC mixing in a SL framework. Our methods enable inference for challenging case studies when the MCMC is initialised in low posterior probability regions of the parameter space, where standard samplers failed. Our goal is to provide ways to make the best out of each expensive MCMC iteration with SL algorithms, which will broaden the scope of these methods for models with costly simulators. To illustrate the advantages stemming from our framework we consider three benchmark examples, including estimation of parameters for a cosmological model and a stochastic model with highly non-Gaussian summary statistics.

研究の動機と目的

• 合成尤度（SL）手法の計算負荷を軽減すること。SL手法は各MCMC反復で繰り返しシミュレーションを必要とする。
• 標準的なSLサンプラーが失敗するような、事後確率が低い領域に初期化された場合のMCMCの混合性を向上させること。
• 特にシミュレータの計算が高価なモデルにおいて、各高価なMCMC反復の効率を高めること。
• 高次元パrameter空間および非常に非ガウス型の要約統計量を有する複雑なモデルへのSLの適用範囲を拡大すること。

提案手法

• サンプリング中に提案分布を逐次的にチューニングする逐次的適応MCMCアルゴリズムを導入し、収束性と混合性を向上させる。
• 粒子フィルタリング技術から得られる相関のあるサンプリングをMCMCフレームワークに適応させ、分散を低減し探索性を向上させる。
• 要約統計量の多変量ガウス近似を用いて、閉形式で得られない尤度関数を置き換える。
• 過去のサンプルに基づいて提案共分散行列を繰り返しスケーリング・適応させることで、時間経過とともに提案品質を向上させる。
• 適応的チューニングと相関のあるサンプリングを組み合わせることで、困難な事後分布の幾何構造においても高い有効サンプルサイズを維持する。
• 計算コストの高いシミュレータを有するモデルにこのフレームワークを適用し、各MCMC反復が事後分布の探索に有意義に寄与することを保証する。

実験結果

リサーチクエスチョン

• RQ1 初期化が事後確率が低い領域にある場合に、適応的MCMC戦略が合成尤度における混合性と収束性を向上させられるか。
• RQ2 粒子フィルタリングから得られる相関のあるサンプリング技術をSL-MCMCに統合することで、効率性がどのように向上するか。
• RQ3 適応的提案分布チューニングによって、SLにおける各MCMC反復ごとのシミュレーション回数をどの程度削減できるか。
• RQ4 提案手法は、非常に非ガウス型の要約統計量を有するモデルにおいても、パラメータ推定を成功させられるか。
• RQ5 宇宙論的モデルのような計算コストの高いシミュレータを有するモデルにおいて、この手法の性能はどのようにスケーリングするか。

主な発見

• 適応的MCMCアプローチは、標準的なサンプラーが失敗するような事後確率が低い領域に初期化された場合でも、SLにおける混合性と収束性を顕著に向上させる。
• 相関のあるサンプリング技術の統合により、MCMCチェーンの有効サンプルサイズが向上し、分散が低減される。
• 計算が高価で、高次元の要約統計量を有する宇宙論的モデルに対しても、本手法は成功した推論を可能にする。
• 非常に非ガウス型の要約統計量を有する確率的モデルにおいても、本手法は信頼性の高いパラメータ推定を達成するが、標準的なSL手法では困難である。
• 適応的チューニングにより、各MCMC反復がより情報量が多くなるため、全体の必要なシミュレーション回数が削減される。
• ベンチマーク例において本フレームワークは頑健な性能を示し、合成尤度の適用範囲を広げることに成功している。