[論文レビュー] Sequential Neural Likelihood: Fast Likelihood-free Inference with Autoregressive Flows

George Papamakarios, David C. Sterratt+1 more|arXiv (Cornell University)|May 18, 2018

Model Reduction and Neural Networks被引用数 139

ひとこと要約

SNLは条件付き自己回帰フローを学習してp(x|θ)（尤度）を推定し、シミュレーションを後方確率が高い領域に集中させる逐次的手法を用いて、以前のニューラル手法と比べて計算コストを削減し、精度を向上させる。

ABSTRACT

We present Sequential Neural Likelihood (SNL), a new method for Bayesian inference in simulator models, where the likelihood is intractable but simulating data from the model is possible. SNL trains an autoregressive flow on simulated data in order to learn a model of the likelihood in the region of high posterior density. A sequential training procedure guides simulations and reduces simulation cost by orders of magnitude. We show that SNL is more robust, more accurate and requires less tuning than related neural-based methods, and we discuss diagnostics for assessing calibration, convergence and goodness-of-fit.

研究の動機と目的

• 尤度が計算不能なシミュレータモデルに対するベイズ推論を動機づける。
• パラメータ θ が与えられたときのデータ x のニューラル密度推定器を開発して尤度を近似する。
• 事後密度が高い領域にシミュレーションを集中させる逐次的な訓練手順を導入する。
• 既存の手法と比較して頑健性、較正、及びシミュレーションコストの削減を実証する。

提案手法

• 条件付きマスクド自己回帰フロー（MAF）を用いて q_phi(x|θ) をモデル化する。
• 提案分布 tilde-p(θ) と p(x|θ) から得られる (θ, x) のシミュレートされたペアで訓練する。
• ラウンドごとに提案分布を現在の事後推定値の近くに集中させるよう更新し、逐次的手法を形成する。
• 蓄積データ上で対数尤度を最適化して尤度モデルを適合させ、提案のバイアスを補正しない。
• MCMC（Slice Sampling）を用いて近似事後 p̂(θ|x_o) ∝ q_phi(x_o|θ) p(θ) からサンプルする。
• 較正、収束、適合度の診断を提供する。

実験結果

リサーチクエスチョン

• RQ1 Neural density estimator は高い事後密度領域で p(x|θ) の在り様を正確にモデルできるか？
• RQ2 逐次的にシミュレーションを高い事後密度領域へ誘導することで、計算コストを削減しつつ精度を維持または向上できるか？
• RQ3 Sequential Neural Likelihood (SNL) は posterior の精度、較正、計算効率の点でSNPE-A/B、SL、SMC-ABC と比べてどうか？
• RQ4 ニューラル密度モデルを用いた尤度なし推論の収束と適合度を評価する診断は何か？

主な発見

• SNLは報告された実験で、競合するニューラルベースの手法よりも精度とシミュレーションコストのトレードオフを良好に達成している。
• SNLは事前分布の Gaussian 仮定に合わせる提案の調整を必要とせず、良く較正された事後を生み出す。
• 逐次的訓練スキームは高事後密度領域にシミュレーションを集中させ、総シミュレーション数を大幅に削減する。
• シミュレーションベースの較正や事後データ適合の診断は、SNL の頑健な性能と収束を支持する。
• おもちゃモデルおよび実-valued モデル（例: M/G/1 係列、Lotka–Volterra、Hodgkin–Huxley）全体で、SNLは効率性と精度の点で NL、SNPE-A/B、SL、SMC-ABC と比較して優れている。