[論文レビュー] Sequential Neural Likelihood: Fast Likelihood-free Inference with Autoregressive Flows

George Papamakarios, David C. Sterratt+1 more|arXiv (Cornell University)|May 18, 2018

Gaussian Processes and Bayesian Inference参考文献 81被引用数 68

ひとこと要約

SNLは条件付き自己回帰フローを用いてシミュレータの尤度を学習し、逐次ラウンドでシミュレーションを導く。 prior neural-density メソッドと比較してシミュレーションコストを大幅に削減しつつ、ベイズ推論の精度を達成。

ABSTRACT

We present Sequential Neural Likelihood (SNL), a new method for Bayesian inference in simulator models, where the likelihood is intractable but simulating data from the model is possible. SNL trains an autoregressive flow on simulated data in order to learn a model of the likelihood in the region of high posterior density. A sequential training procedure guides simulations and reduces simulation cost by orders of magnitude. We show that SNL is more robust, more accurate and requires less tuning than related neural-based methods, and we discuss diagnostics for assessing calibration, convergence and goodness-of-fit.

研究の動機と目的

• 難解な尤度を持つシミュレータモデルのベイズ推論を動機づける。
• シミュレータの p(x|θ) をモデル化する一般的なニューラル密度推定フレームワークを提案する。
• 高後部領域にシミュレーションを集中させる逐次訓練手順を導入する。
• 既存のニューラル法と比較して頑健性、較正、及びシミュレーションコストの削減を示す。

提案手法

• 条件付きMasked Autoregressive Flow (MAF) で p(x|θ) をモデル化し、尤度を近似する。
• 提案分布 ▲p(θ) からの(θ, x) のシミュレートデータで qφ(x|θ) を訓練し、関心領域の尤度を学習する。
• 各ラウンドでの後部近似を更新し、シミュレーションを重要な場所に集中させる逐次・ラウンドベースの方式を用い、蓄積データ全体で再訓練する。
• Markov Chain Monte Carlo (Slice Sampling) を用いて近似後部 p̂(θ|x_o) ∝ qφ(x_o|θ) p(θ) からサンプルを得る。
• 提案は後部ではなく尤度を学習しているため、学習が後部を偏らせないように、アスymptotically はバイアスを与えず高後部密度領域に集中させることを許容する。

実験結果

リサーチクエスチョン

• RQ1 Sequential Neural Likelihood (SNL) は既存の尤度なし法よりも少ないシミュレーションで正確な後部推定を達成できるか。
• RQ2 自己回帰フローと逐次訓練による尤度学習は頑健な較正と適合度診断を提供するか。
• RQ3 SNL は posterior の精度とシミュレーション効率の点で SNPE や他の尤度なしベースラインとどう比較されるか。
• RQ4 SNL の収束、較正、適合度を評価する実践的診断は何か。

主な発見

• SNL は複数のモデルで、後部の精度とシミュレーションコストのトレードオフで競合するニュー densities 法より優れた結果を示す。
• SNL は頑健で、較正が良く、関連法に比べて調整の依存性が低いと記述される。
• 診断は大きな較正の問題を示さず、収束と適合度のチェックを提供する。
• 経験的結果は、正確な後部推定を維持しつつ substantial なシミュレーション節約を示す。
• SNL はラウンドが進むにつれて高後部密度領域にシミュレーションを集中させ、学習を加速する。