[論文レビュー] Robust Bayesian Synthetic Likelihood via a Semi-Parametric Approach

Ziwen An, David J. Nott+1 more|arXiv (Cornell University)|Sep 16, 2018

Markov Chains and Monte Carlo Methods参考文献 34被引用数 7

ひとこと要約

本稿では、標準的なBSLにおける正規性仮定を、周辺分布にカーネル密度推定を、従属構造にガウス・コプゥラを用いる半パラメトリックなベイズ合成尤度手法semiBSLを提案する。この手法は、シミュレーションコストの増加やチューニングの必要なしに、非正規の要約統計量に対しても著しく高いロバスト性を実現する。本手法は計算効率を維持しつつ、非正規尤度を伴う困難な例において、BSL や EES よりもより正確な事後分布近似を提供する。

ABSTRACT

Bayesian synthetic likelihood (BSL) is now a well established method for performing approximate Bayesian parameter estimation for simulation-based models that do not possess a tractable likelihood function. BSL approximates an intractable likelihood function of a carefully chosen summary statistic at a parameter value with a multivariate normal distribution. The mean and covariance matrix of this normal distribution are estimated from independent simulations of the model. Due to the parametric assumption implicit in BSL, it can be preferred to its non-parametric competitor, approximate Bayesian computation, in certain applications where a high-dimensional summary statistic is of interest. However, despite several successful applications of BSL, its widespread use in scientific fields may be hindered by the strong normality assumption. In this paper, we develop a semi-parametric approach to relax this assumption to an extent and maintain the computational advantages of BSL without any additional tuning. We test our new method, semiBSL, on several challenging examples involving simulated and real data and demonstrate that semiBSL can be significantly more robust than BSL and another approach in the literature.

研究の動機と目的

• ベイズ合成尤度（BSL）における強い正規性仮定を緩和し、実用上のロバスト性を向上させること。
• BSLの効率性と低チューニング特性を維持しつつ、非正規の要約統計量に対してより高いロバスト性を実現する手法の開発。
• 追加のチューニングパラメータやシミュレーション負荷の増加を回避する、実用的でスケーラブルなBSLの代替手法の提供。
• 標準BSLのロバスト性を実験的に評価し、EES や ABC といった既存のロバスト化手法と比較すること。
• 要約統計量間に強い非線形従属構造が存在する場合におけるsemiBSLの限界の解明。

提案手法

• 観測された統計量における周辺分布を、完全な密度推定を避けるために、カーネル密度推定（KDE）でモデル化する。
• これらの周辺KDEをガウス・コプゥラで組み合わせ、要約統計量間の従属構造をモデル化する。
• 得られる半パラメトリック尤度をベイズ枠組みで使用し、MCMCサンプリングによる事後分布推論を実施する。
• 本手法は標準BSLと同一のモデルシミュレーション回数を要し、追加のチューニングを必要としない。
• 特に高次元設定において計算効率を向上させるために、相関行列のシェイプニング推定量の検討が行われる。
• 本手法はデフォルトで制約なし相関行列を用いるが、構造的相関推定への拡張も検討されている。

実験結果

リサーチクエスチョン

• RQ1 非正規の要約統計量分布下で、標準BSLとsemiBSLのロバスト性はどのように比較されるか？
• RQ2 KDEとガウス・コプゥラを組み合わせた半パラメトリックアプローチは、BSLの計算効率を維持しつつロバスト性を向上させられるか？
• RQ3 semiBSLは、BSL や EES と比較して、より多くのシミュレーションや追加のチューニングを必要とするか？
• RQ4 要約統計量間に強い非線形従属構造が存在する状況では、semiBSLはどのように性能を発揮するか？
• RQ5 提案手法は、スケーラブルな推論のための既存のMCMCまたは変分ベイズフレームワークに効果的に統合可能か？

主な発見

• 非正規の要約統計量を伴う例において、semiBSLは標準BSL や EES よりも著しく正確な事後分布近似を提供する。特に真の分布が正規性から大きく逸脱している場合に顕著である。
• 本手法は、シミュレーション回数の増加なしにロバスト性を向上させ、BSLと同等の計算効率を維持する。
• semiBSLは、KDEが標本サイズに依存するため、BSLほどではないが、シミュレーション回数nの変動に対して相対的に感度が低い。
• すべてのテスト例において、EESよりもsemiBSLの事後分布近似が優れており、チューニングが少なく、精度も高い。
• 強い非線形従属構造（例：ブーム・アンド・バースト例）が存在する場合には、semiBSLの性能が著しく劣化する。これは、複雑な従属構造下での限界を示している。
• 相関行列のシェイプニング推定量（例：ワートンの手法）を用いることで、M/G/1キューイングモデルのような高次元設定において、顕著な計算上の利点が得られる。