[论文解读] Automatic Variational ABC

Alexander Moreno, Tameem Adel+3 more|arXiv (Cornell University)|Jun 28, 2016

Markov Chains and Monte Carlo Methods参考文献 19被引用 6

一句话总结

本文提出自动变分ABC（AVABC），一种无需似然函数的贝叶斯推断方法，结合随机变分推断、自动微分与方差缩减技术，实现对模拟模型的高效端到端变分后验优化。通过重新参数化模拟器和变分后验分布，AVABC相比现有SVI方法（如BBVI和VBIL）显著降低了梯度方差并加快了收敛速度，在玩具问题与真实世界问题（包括苍蝇种群数据集）中均表现出优越性能。

ABSTRACT

Approximate Bayesian Computation (ABC) is a framework for performing likelihood-free posterior inference for simulation models. Stochastic Variational inference (SVI) is an appealing alternative to the inefficient sampling approaches commonly used in ABC. However, SVI is highly sensitive to the variance of the gradient estimators, and this problem is exacerbated by approximating the likelihood. We draw upon recent advances in variance reduction for SV and likelihood-free inference using deterministic simulations to produce low variance gradient estimators of the variational lower-bound. By then exploiting automatic differentiation libraries we can avoid nearly all model-specific derivations. We demonstrate performance on three problems and compare to existing SVI algorithms. Our results demonstrate the correctness and efficiency of our algorithm.

研究动机与目标

• 为解决传统基于采样的近似贝叶斯计算（ABC）方法效率低下问题，这些方法需要大量模拟器调用且混合速度缓慢。
• 克服在无似然函数设定下随机变分推断（SVI）中梯度估计器方差过高的问题。
• 通过利用自动微分与重参数化技术，实现对模拟模型变分后验的端到端、自动化优化。
• 减少在复杂模拟器中进行变分推断时对手动推导梯度与模型特异性实现的需求。
• 证明AVABC在合成问题与真实世界问题上，相较于BBVI与VBIL等现有SVI基线方法，具有更快的收敛速度与更低的方差。

提出的方法

• AVABC通过使用生成合成数据的模拟器以及基于ABC核的似然近似，为无似然函数推断构建变分下界。
• 将模拟器与变分后验重新参数化为参数与噪声变量的确定性函数，从而实现通过模拟器的反向传播。
• 该方法应用重参数化梯度与控制变量，以降低变分下界梯度估计器的方差。
• 利用自动微分库消除手动推导梯度的需要，实现对下界的完整端到端优化。
• 采用自适应优化算法（如Adam或Adagrad）根据梯度方差动态调整学习率，提升训练稳定性。
• 该方法支持摘要统计量，并使用蒙特卡洛近似计算ABC似然，同时对似然与后验梯度估计器均应用方差缩减技术。

实验结果

研究问题

• RQ1 能否使针对似然不可计算的模拟模型实现高效且稳定的随机变分推断？
• RQ2 能否通过重参数化与控制变量显著降低无似然函数变分推断中梯度估计器的方差？
• RQ3 自动微分能否消除在复杂模拟模型中手动推导梯度的需求？
• RQ4 AVABC在无似然函数推断任务中，相较于BBVI与VBIL等现有SVI方法，在收敛速度与稳定性方面表现如何？
• RQ5 AVABC在处理具有高维参数或复杂模拟器输出的真实世界模拟模型时，其可扩展性如何？

主要发现

• AVABC在优化过程中表现出显著低于BBVI与VBIL的梯度方差，表现为下界曲线更平滑、更稳定。
• 在苍蝇种群实验中，AVABC仅需约175次迭代即可稳定，而BBVI几乎需要2,750次迭代，且未能收敛至稳定解。
• AVABC的后验估计与ε = 0.25时的拒绝采样结果高度一致，证实了其在使用似然近似时的准确性。
• AVABC在下界优化中表现出更快的收敛速度与更低的方差，尤其在高维参数空间中表现突出。
• 该方法成功将完整模拟器代码集成于自动微分框架中，实现无需手动推导梯度的端到端训练。
• 尽管在处理非可微或基于拒绝的分布时存在局限性，AVABC仍为基于采样的ABC与现有SVI方法提供了可扩展且高效的替代方案。