[論文レビュー] BSL: An R Package for Efficient Parameter Estimation for Simulation-Based Models via Bayesian Synthetic Likelihood

Ziwen An, Leah F. South+1 more|arXiv (Cornell University)|Jul 25, 2019

Statistical Methods and Bayesian Inference被引用数 6

ひとこと要約

本稿では、尤度が閉形式で得られない複雑なモデルにおける効率的なパラメータ推定を可能にする、ベイジアン合成尤度（BSL）を用いた包括的なツール、BSL Rパッケージを紹介する。標準的で、バイアスのない、および半パラメトリックな合成尤度推定器に加え、スパース性を考慮した共分散推定手法（グラフィカルラッソおよび縮約推定）を統合することで、シミュレーションの負担を軽減し、高次元の尤度が不活性なモデルに対しても、より高速でスケーラブルな推論を実現する。

ABSTRACT

Bayesian synthetic likelihood (BSL) is a popular method for estimating the parameter posterior distribution for complex statistical models and stochastic processes that possess a computationally intractable likelihood function. Instead of evaluating the likelihood, BSL approximates the likelihood of a judiciously chosen summary statistic of the data via model simulation and density estimation. Compared to alternative methods such as approximate Bayesian computation (ABC), BSL requires little tuning and requires less model simulations than ABC when the chosen summary statistic is high-dimensional. The original synthetic likelihood relies on a multivariate normal approximation of the intractable likelihood, where the mean and covariance are estimated by simulation. An extension of BSL considers replacing the sample covariance with a penalised covariance estimator to reduce the number of required model simulations. Further, a semi-parametric approach has been developed to relax the normality assumption. In this paper, we present an R package called BSL that amalgamates the aforementioned methods and more into a single, easy-to-use and coherent piece of software. The R package also includes several examples to illustrate how to use the package and demonstrate the utility of the methods.

研究の動機と目的

• 高次元の要約統計量を伴う場合に、従来のABCのような尤度フリー手法の計算非効率性を解消すること。
• 高度なBSL手法を統合した、一元的で使いやすいRパッケージの開発を通じて、スケーラビリティの向上とモデルのシミュレーション回数の削減を図ること。
• 複数の合成尤度推定器と共分散の縮約技術を統合し、性能と頑健性の向上を図ること。
• 再現可能な研究と手法の採用を支援するため、組み込みの例と可視化ツールを提供すること。
• 高次元または高パラメータ数のモデル、たとえば確率的細胞生物学モデルや為替レートモデルなど、複雑なモデルに対しても効率的な推論を可能にすること。

提案手法

• シミュレートされた要約統計量に基づく多変量正規分布近似を用いて、ベイジアン合成尤度（BSL）を実装する。
• 補正済み標本共分散行列を用いることで、共分散推定におけるバイアスを低減するバイアスのない合成尤度推定器を導入する。
• グラフィカルラッソや縮約推定（例：ワートンの手法）を用いたペナルティ付き共分散推定を適用し、必要なシミュレーション回数を削減する。
• MCMCサンプリングを用いて事後分布を探索するが、並列処理と共有シミュレーションの再利用により、計算を効率化する。
• 事後分布の標準誤差を目標値に合わせて自動的に正則化パラメータをチューニングするためのペナルティ選択関数、`selectPenalty` を開発する。
• カーネル密度推定を用いて要約統計量の分布に対する正規性仮定を緩和することで、半パラメトリックなBSLをサポートする。

実験結果

リサーチクエスチョン

• RQ1 スパース共分散推定を用いたBSLは、正確な事後分布推定に必要なモデルのシミュレーション回数を顕著に削減できるか？
• RQ2 要約統計量が高次元である場合、BSLはABCに比べて計算効率と精度の面で優れているか？
• RQ3 バイアスのないおよび半パラメトリックなBSL推定器の使用は、モデルの誤特定の場合に、事後分布推定の性能をどの程度向上させるか？
• RQ4 提案されたペナルティ選択手順は、MCMC設定における共分散推定の最適正則化パラメータを信頼性高く特定できるか？
• RQ5 実装された手法は、高次元の要約統計量や多数のパラメータを有するモデルへとどの程度スケーリング可能か？

主な発見

• BSL Rパッケージは、複数のBSLバリエーションと縮約手法を統合した一貫性のあるソフトウェアフレームワークを提供し、複雑なモデルに対する効率的推論を実現した。
• ペナルティ選択を伴うグラフィカルラッソは、n = 500で最適なペナルティ値が選択されたMA(2)例で示されるように、シミュレーション回数を削減しながらも事後分布の正確性を維持した。
• バイアスのないBSL推定器は、特に高次元設定において、標準BSLに比べてMCMCチェインの混合性を著しく向上させ、バイアスを低減した。
• 半パラメトリックなBSLアプローチは、要約統計量が正規性から逸脱しても頑健な性能を示し、わずかな非正規性下でも標準BSLを上回った。
• `selectPenalty`関数は、分散とバイアスのバランスをとる正則化パラメータを効果的に特定し、事後分布の対数尤度の標準誤差が望ましい値（例：1.44–1.50）に近づくように機能した。
• 本パッケージは、高次元の確率的細胞生物学モデルや多パラメータの為替レートモデルといった実世界の例に対しても優れた性能を示し、実用的価値を確認した。