[論文レビュー] Likelihood-free inference with emulator networks

Jan-Matthis Lueckmann, Giacomo Bassetto+2 more|arXiv (Cornell University)|May 23, 2018

Markov Chains and Monte Carlo Methods参考文献 3被引用数 45

ひとこと要約

本論文は、ニューラル・エミュレータを用いて柔軟な合成尤度を学習し、アクティブ学習を組み合わせて、ユーザー定義の閾値なしに効率的な ABC を実現します。合成データと神経科学の例を用いて、ローカルおよびグローバルなエミュレータ戦略を示します。

ABSTRACT

Approximate Bayesian Computation (ABC) provides methods for Bayesian inference in simulation-based stochastic models which do not permit tractable likelihoods. We present a new ABC method which uses probabilistic neural emulator networks to learn synthetic likelihoods on simulated data -- both local emulators which approximate the likelihood for specific observed data, as well as global ones which are applicable to a range of data. Simulations are chosen adaptively using an acquisition function which takes into account uncertainty about either the posterior distribution of interest, or the parameters of the emulator. Our approach does not rely on user-defined rejection thresholds or distance functions. We illustrate inference with emulator networks on synthetic examples and on a biophysical neuron model, and show that emulators allow accurate and efficient inference even on high-dimensional problems which are challenging for conventional ABC approaches.

研究の動機と目的

• 評価不能な尤度を持つシミュレータベースモデルに対して、ベイズ推論を可能にする。
• ABC における手作りの距離閾値を、シミュレータ出力の確率的エミュレータに置換する。
• アクティブ学習と獲得戦略を用いて、シミュレータの評価回数を削減する。
• 高次元の観測および非ガウスノイズへのスケーラビリティを示す。
• 方法を合成ベンチマークと Hodgkin-Huxley ニューロンモデルに適用する。

提案手法

• ニューラルネットワークベースのエミュレータ q(x|θ;φ) を訓練して p(x|θ) を近似し、それを合成尤度として用いる。
• エミュレータ重みに対する不確実性を、確率的ネットワークまたはアンサンブルで表現し、事後予測分布を形成する。
• 2 つの獲得規則を用いる：ローカルエミュレータ学習には MaxVar、グローバルエミュレータ学習には MaxMI を用いてシミュレーションを導く。
• エミュレータベース合成尤度を用いて、ヘミルトニアンモンテカルロ法により近似事後 p~(θ|xo) を導出する。
• グローバル学習では、情報利得を最大化してシミュレーションに有益な θ を選択する。
• 初期データセットと反復的なエミュレータ更新を用いた逐次学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 高次元の出力を含むさまざまなデータモダリティに対して、エミュレータ網は尤度なし推論のために p(x|θ) を正確に近似できるか。
• RQ2 アクティブ学習獲得規則は、均一サンプリングや既存の ABC 手法と比べてシミュレータの効率を向上させるか。
• RQ3 ローカルとグローバルのエミュレータは、精度と計算効率の点でどう比較されるか。
• RQ4 事前に定義された距離指標なしで、非ガウス性およびヘテロスケダスティックな観測モデルを扱えるか。
• RQ5 Hodgkin-Huxley 神経ダイナミクスのような実際の科学モデルで効果的か。

主な発見

• MaxVar 獲得を用いるエミュレータは、均一サンプリングより真の事後分布へ急速に収束し、低次元の場合には BOLFI と競合するか、上回る。
• フォワードモデルのグローバルエミュレータを学習することで高次元の観測にもスケールし、要約統計量なしで事後推定を可能にする。
• Hodgkin-Huxley に適用すると、観測されたスパイク数と整合する生物物理パラメータの事後分布を得る。
• blob 画像生成モデルでのデモは、MaxMI 獲得でエミュレータパラメータの学習がより速いことを示す。
• 本手法はユーザー定義の拒絶閾値や距離関数を回避し、非ガウスデータを扱える。