[论文解读] Likelihood-free inference with emulator networks

Jan-Matthis Lueckmann, Giacomo Bassetto+2 more|arXiv (Cornell University)|May 23, 2018

Markov Chains and Monte Carlo Methods参考文献 3被引用 45

一句话总结

本文提出使用仿真器网络通过学习灵活的合成似然并结合主动学习来进行无似然推断，利用神经网络仿真器实现高效的ABC且无需用户自定义阈值。并在合成数据与神经科学示例上演示了局部与全局仿真器策略。

ABSTRACT

Approximate Bayesian Computation (ABC) provides methods for Bayesian inference in simulation-based stochastic models which do not permit tractable likelihoods. We present a new ABC method which uses probabilistic neural emulator networks to learn synthetic likelihoods on simulated data -- both local emulators which approximate the likelihood for specific observed data, as well as global ones which are applicable to a range of data. Simulations are chosen adaptively using an acquisition function which takes into account uncertainty about either the posterior distribution of interest, or the parameters of the emulator. Our approach does not rely on user-defined rejection thresholds or distance functions. We illustrate inference with emulator networks on synthetic examples and on a biophysical neuron model, and show that emulators allow accurate and efficient inference even on high-dimensional problems which are challenging for conventional ABC approaches.

研究动机与目标

• 使基于仿真器的模型在似然不可观测时也能进行贝叶斯推断。
• 用对仿真输出的概率性仿真器替代 ABC 中手工设计的距离阈值。
• 通过主动学习和获取策略减少仿真器评估次数。
• 展示对高维观测和非高斯噪声的可扩展性。
• 将该方法应用于合成基准和 Hodgkin-Huxley 神经元模型。

提出的方法

• 训练基于神经网络的仿真器 q(x|θ;φ) 以逼近 p(x|θ)，并将其用作合成似然。
• 用概率网络或集成来表示对仿真器权重的不确定性，从而形成后验预测分布。
• 使用两条获取规则：MaxVar 用于局部仿真器学习，MaxMI 用于全球仿真器学习，以引导仿真。
• 通过哈密顿蒙特卡洛方法利用基于仿真器的合成似然推导近似后验 p~(θ|xo)。
• 在全局学习中，最大化信息增益以选择对仿真有信息量的 θ。
• 应用以初始数据集为起点、迭代更新仿真器的序贯训练。

实验结果

研究问题

• RQ1 仿真器网络是否能够在包括高维输出在内的不同数据模态下准确近似 p(x|θ)，用于无似然推断？
• RQ2 主动学习获取规则是否相比均匀采样或现有 ABC 方法提高了仿真效率？
• RQ3 局部仿真器与全球仿真器在精度和计算效率方面的比较如何？
• RQ4 该方法是否能在没有预定义距离度量的情况下处理非高斯和异方差观测模型？
• RQ5 该方法在诸如 Hodgkin-Huxley 神经元动力学等真实科学模型上是否有效？

主要发现

• 使用 MaxVar 获取规则的仿真器相较于均匀采样在低维情况下更快收敛到真实后验，并且与 BOLFI 相竞争甚至超越。
• 通过为前向模型学习全局仿真器，该方法可扩展到高维观测， enabling 后验估计无需摘要统计。
• 将该方法应用于 Hodgkin-Huxley，得到的生物物理参数后验分布与观测的尖峰计数一致。
• 在一个 blob 图像生成模型上的演示表明，使用 MaxMI 获取规则可更快地学习仿真器参数。
• 该方法避免了用户自定义的拒绝阈值或距离函数，并能处理非高斯数据。