[论文解读] Asymptotically exact inference in likelihood-free models

Matthew M. Graham, Amos Storkey|arXiv (Cornell University)|May 25, 2016

Bayesian Methods and Mixture Models被引用 1

一句话总结

本文提出了一种渐近精确的马尔可夫链蒙特卡洛（MCMC）推理方法，用于似然-free模型，通过利用与观测输出一致的输入所定义的流形的平滑几何结构。采用约束哈密顿蒙特卡洛（HMC）方法，实现了对输入流形的高效且连贯的探索，为在生成过程对输入可微的模型中提供了近似贝叶斯计算（ABC）的精确替代方案。

ABSTRACT

Many generative models can be expressed as a differentiable function of random inputs drawn from some simple probability density. This framework includes both deep generative architectures such as Variational Autoencoders and a large class of procedurally defined simulator models. We present a method for performing efficient MCMC inference in such models when conditioning on observations of the model output. For some models this offers an asymptotically exact inference method where Approximate Bayesian Computation might otherwise be employed. We use the intuition that inference corresponds to integrating a density across the manifold corresponding to the set of inputs consistent with the observed outputs. This motivates the use of a constrained variant of Hamiltonian Monte Carlo which leverages the smooth geometry of the manifold to coherently move between inputs exactly consistent with observations. We validate the method by performing inference tasks in a diverse set of models.

研究动机与目标

• 开发一种针对通常使用近似贝叶斯计算（ABC）的似然-free模型的渐近精确推理方法。
• 解决ABC在高维或复杂生成模型中效率低下且不准确的问题。
• 利用对应于观测结果的输入流形的平滑几何结构。
• 通过连贯地导航与观测输出一致的输入流形，实现高效的MCMC采样。
• 提供一种适用于深度生成模型和具有可微生成过程的程序化模拟器的通用框架。

提出的方法

• 将推理问题表述为在精确重现观测输出的输入流形上积分后验密度。
• 使用可微生成模型在输入空间中定义与给定观测结果对应的平滑流形。
• 应用一种约束型哈密顿蒙特卡洛（HMC）变体，以尊重流形的几何结构，确保细致平衡和精确性。
• 通过将梯度投影到切空间，实现动态约束，以在采样过程中保持马尔可夫链位于流形上。
• 利用生成函数的平滑性和可微性，计算梯度和曲率信息，以实现高效探索。
• 使用自适应步长的数值积分，以保持能量并确保收敛至真实后验分布。

实验结果

研究问题

• RQ1 我们能否在不依赖ABC或核密度近似的情况下，实现在似然-free模型中的渐近精确贝叶斯推理？
• RQ2 在可微生成模型中，如何高效探索精确重现观测输出的高维输入流形？
• RQ3 约束HMC能否被调整以在导航由生成过程定义的复杂非线性流形时保持精确性？
• RQ4 与现有似然-free推理技术相比，该方法在计算和统计方面有何优势？
• RQ5 该方法在不同模型类别（包括VAE和程序化模拟器）中的可扩展性如何？

主要发现

• 该方法通过直接从输入流形上的精确后验分布中采样，实现了似然-free模型中的渐近精确推理。
• 在准确性和收敛速度方面，该方法优于标准ABC方法，尤其是在高维设置下。
• 约束HMC框架实现了对输入流形的连贯且高效的探索，减少了随机游走行为。
• 该方法适用于深度生成模型（如VAE）以及具有可微组件的程序化模拟器。
• 实证验证表明，该方法在多种模型中均能实现可靠推理，证实了其鲁棒性和泛化能力。