[论文解读] Accelerating ABC methods using Gaussian processes

R. Wilkinson|arXiv (Cornell University)|Jan 7, 2014

Gaussian Processes and Bayesian Inference参考文献 24被引用 66

一句话总结

本文提出高斯过程（GP）加速的近似贝叶斯计算（ABC），通过用高斯过程建模对数似然函数，利用其平滑性和连续性，显著减少模拟器调用次数。该方法在某些模型中将模拟次数减少高达100倍，并首次实现了在种群遗传学模型中对精确后验分布的近似。

ABSTRACT

Approximate Bayesian computation (ABC) methods are used to approximate posterior distributions using simulation rather than likelihood calculations. We introduce Gaussian process (GP) accelerated ABC, which we show can significantly reduce the number of simulations required. As computational resource is usually the main determinant of accuracy in ABC, GP-accelerated methods can thus enable more accurate inference in some models. GP models of the unknown log-likelihood function are used to exploit continuity and smoothness, reducing the required computation. We use a sequence of models that increase in accuracy, using intermediate models to rule out regions of the parameter space as implausible. The methods will not be suitable for all problems, but when they can be used, can result in significant computational savings. For the Ricker model, we are able to achieve accurate approximations to the posterior distribution using a factor of 100 fewer simulator evaluations than comparable Monte Carlo approaches, and for a population genetics model we are able to approximate the exact posterior for the first time.

研究动机与目标

• 解决ABC方法的高计算成本问题，特别是在模拟器昂贵且需要高精度（低容忍度）时。
• 克服标准ABC算法依赖随机采样、忽略似然函数已知平滑性的低效问题。
• 开发一种利用序列化、自适应设计与高斯过程模型的方法，以高效探索参数空间并减少模拟器调用次数。
• 在传统ABC因计算成本过高而不可行的模型中实现准确的后验分布近似，例如具有高维输出的复杂模拟器。

提出的方法

• 使用高斯过程对未知的对数似然函数进行建模，将模拟器输出视为真实似然的噪声观测。
• 在多轮迭代中应用一系列逐渐提高精度的GP模型，利用空间填充设计选择新的评估点。
• 利用对数似然的连续性和平滑性，预测可能的区域并早期排除不合理的参数空间区域。
• 采用广义ABC（GABC）框架，结合平滑接受核以降低似然估计的方差，提升GP建模效果。
• 应用稀疏GP近似，将训练成本从O(N³)降低至O(M²N)，其中M ≪ N，从而实现对更大数据集的可扩展性。
• 在每轮迭代中进行诊断检查并引入用户监督，以确保模型可靠性，避免因GP拟合不佳或设计选择不当导致的错误。

实验结果

研究问题

• RQ1 能否使用高斯过程对ABC中的对数似然函数进行建模，以减少模拟器调用次数？
• RQ2 与ABC中的随机采样相比，GP模型的序列化自适应设计在计算效率和准确性方面表现如何？
• RQ3 在标准ABC因计算成本过高而失效的模型中，GP加速ABC能否近似精确后验分布？
• RQ4 似然函数的平滑性对GP加速ABC的性能有何影响？
• RQ5 如何在不牺牲ABC推断精度的前提下降低GP训练的计算成本？

主要发现

• 在Ricker模型中，GP加速ABC仅需标准蒙特卡罗ABC约1/100的模拟器调用次数，即可实现准确的后验近似。
• 在种群遗传学模型中，该方法首次实现了对精确后验分布的近似，而此前由于计算限制，标准ABC无法实现此目标。
• GP-ABC后验分布的准确性优于带局部线性调整的拒绝ABC，因为它更准确地捕捉了随着容忍度ε减小而趋近精确后验的趋势。
• 该方法依赖于对数似然的平滑性；其适用性并非普适，但在似然曲面足够平滑时可带来显著的计算节省。
• 稀疏GP近似将训练成本从O(N³)降低至O(M²N)，使方法可扩展至更大规模问题，同时保持精度。
• 尽管引入了额外的近似层，该方法仍通过允许使用比标准方法更小的容忍度值，实现了比传统方法更高的ABC推断精度。