[論文レビュー] Bayesian inference using synthetic likelihood: asymptotics and adjustments

David T. Frazier, David J. Nott+2 more|arXiv (Cornell University)|Feb 13, 2019

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿は、要約統計量の中心極限定理に基づき、合成尤度の後部分布の漸近的正規性を確立し、ベイジアン合成尤度（BSL）が正しい頻度的被覆率を持つ有効な不確実性の定量化を提供することを示している。さらに、標準的なABCよりも計算的に効率的であることを示し、誤った共分散構造（例えば、対角行列や要因モデル）を補正するためのサンドイッチ型分散調整を提案しており、推論の正確性を損なわずに計算速度を向上させている。

ABSTRACT

Implementing Bayesian inference is often computationally challenging in applications involving complex models, and sometimes calculating the likelihood itself is difficult. Synthetic likelihood is one approach for carrying out inference when the likelihood is intractable, but it is straightforward to simulate from the model. The method constructs an approximate likelihood by taking a vector summary statistic as being multivariate normal, with the unknown mean and covariance matrix estimated by simulation for any given parameter value. Our article makes three contributions. The first shows that if the summary statistic satisfies a central limit theorem, then the synthetic likelihood posterior is asymptotically normal and yields credible sets with the correct level of frequentist coverage. This result is similar to that obtained by approximate Bayesian computation. The second contribution compares the computational efficiency of Bayesian synthetic likelihood and approximate Bayesian computation using the acceptance probability for rejection and importance sampling algorithms with a "good" proposal distribution. We show that Bayesian synthetic likelihood is computationally more efficient than approximate Bayesian computation, and behaves similarly to regression-adjusted approximate Bayesian computation. Based on the asymptotic results, the third contribution proposes using adjusted inference methods when a possibly misspecified form is assumed for the covariance matrix of the synthetic likelihood, such as diagonal or a factor model, to speed up the computation. The methodology is illustrated with some simulated and real examples.

研究の動機と目的

• 要約統計量が中心極限定理を満たす場合のベイジアン合成尤度（BSL）の漸近的頻度的性質を確立すること。
• 受理および重要度サンプリングアルゴリズムを用いたBSLと近似ベイズ計算（ABC）の計算効率を比較すること。
• 要約統計量の共分散行列が誤って指定された場合（例えば、対角行列や要因モデルの場合）に、BSLの分散調整法を開発・正当化すること。
• 特に、仮定された共分散構造が誤っている場合でも、モデルの不適合下でBSLにおける有効な不確実性の定量化を保証すること。
• 特にシミュレーションが高価な状況において、調整された推論の実用的有用性を実データおよびシミュレーション例を用いて示すこと。

提案手法

• 要約統計量の共分散行列の挙動に一様な制御がかかる正則性条件の下で、BSLの後部分布の漸近的正規性を確立する。
• 各パラメータ値における要約統計量の平均および共分散をシミュレートすることで、合成尤度推定量の漸近的分布を導出する。
• 受理サンプリングアルゴリズムにおけるBSLとABCの受理確率を比較し、良好な提案分布のもとでBSLは受理率がゼロに収束しないことを示す。
• 漸近的理論を用いて、誤った共分散行列（例えば、対角行列や要因モデル）の不適合を補正するためのサンドイッチ型分散調整を提案し、そのロバスト性を正当化する。
• 調整された手法をシミュレーションおよび実データに適用し、48次元の要約統計量を有するカエルの分散研究を含む。
• 合成尤度を用いたMCMCを用い、標準BSL、スリミングBSL（シミュレーション回数を削減）および調整BSLを比較することで、後部分布の正確性と効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 要約統計量が中心極限定理を満たすとき、合成尤度の後部分布はどのような条件下で正規分布に収束し、信用区間の正しい頻度的被覆率を達成するか？
• RQ2 受理および重要度サンプリングの枠組みにおいて、BSLとABCの計算効率はどのように比較されるか？
• RQ3 要約統計量の共分散構造が誤って指定された場合に、BSLにおける分散調整を導出できるか？
• RQ4 これらの調整は、真の共分散が正しくモデル化されていない状況でも、正確な不確実性の定量化を維持するのにどの程度有効か？
• RQ5 対角行列や要因モデルなどの簡素化された共分散構造を用いることで、BSLにおける計算コストと推論の正確性にどのような影響を与えるか？

主な発見

• 要約統計量が中心極限定理を満たす場合、合成尤度の後部分布は漸近的に正規分布に従い、正しい頻度的被覆率を持つ信用区間を提供する。
• 良好な提案分布のもとで、受理サンプリングにおけるBSLの受理確率は、ABCとは異なり、漸近的にゼロに収束しない。
• BSLは標準ABCよりも計算的に効率的であり、受理率およびサンプリング効率の観点で回帰調整ABCと同等の性能を示す。
• スリミングパラメータ（γ=0.1）を用いることで、カエルの例ではMCMCイテレーションあたりのシミュレーション回数を500から50に削減し、計算速度が向上した。
• 調整済みBSLの後部分布は、調整なしのスリミングBSLよりも標準BSLの不確実性構造をよりよく回復するが、分散が大きいため若干の効率損失が生じる。
• 実データでは、シミュレーションデータよりも分散の拡大が少なく、標準BSLとより一致する結果が得られ、実用的状況においてよりロバストな性能を示した。