[论文解读] Divide and conquer in ABC: Expectation-Progagation algorithms for likelihood-free inference

Simon Barthelmé, Nicolás Chopin+1 more|arXiv (Cornell University)|Dec 1, 2015

Gaussian Processes and Bayesian Inference参考文献 29被引用 6

一句话总结

本文提出一种基于期望传播（EP）的分而治之方法，用于加速无似然贝叶斯推断（ABC）。通过将似然函数分解为局部成分并应用局部摘要统计量，该方法减少了偏差，并实现了大规模并行计算，在空间极值建模中实现了超过100倍的加速，同时保持了精确的后验近似。

ABSTRACT

ABC algorithms are notoriously expensive in computing time, as they require simulating many complete artificial datasets from the model. We advocate in this paper a "divide and conquer" approach to ABC, where we split the likelihood into n factors, and combine in some way n "local" ABC approximations of each factor. This has two advantages: (a) such an approach is typically much faster than standard ABC and (b) it makes it possible to use local summary statistics (i.e. summary statistics that depend only on the data-points that correspond to a single factor), rather than global summary statistics (that depend on the complete dataset). This greatly alleviates the bias introduced by summary statistics, and even removes it entirely in situations where local summary statistics are simply the identity function. We focus on EP (Expectation-Propagation), a convenient and powerful way to combine n local approximations into a global approximation. Compared to the EP- ABC approach of Barthelm\\'e and Chopin (2014), we present two variations, one based on the parallel EP algorithm of Cseke and Heskes (2011), which has the advantage of being implementable on a parallel architecture, and one version which bridges the gap between standard EP and parallel EP. We illustrate our approach with an expensive application of ABC, namely inference on spatial extremes.

研究动机与目标

• 通过将似然函数分解为局部因子并应用局部摘要统计量，降低ABC中的计算成本。
• 通过使用针对每个数据点的局部摘要统计量，减轻标准ABC中由全局摘要统计量引入的偏差。
• 通过EP的块并行变体，实现在ABC中的高效并行计算。
• 在高维或不可识别模型（如空间极值）中，提高后验近似精度，这些模型因计算不可行而使标准ABC失效。
• 开发一种可扩展且可实现的EP-ABC框架，支持顺序与并行推断。

提出的方法

• 将似然函数分解为 $ p(\mathbf{y}|\bm{\theta}) = \prod_{i=1}^n f_i(y_i|\bm{\theta}) $，实现每个因子的独立采样。
• 对每个数据块 $ y_i $ 应用局部摘要统计量 $ s_i(y_i) $，相比全局摘要统计量，可显著降低偏差。
• 使用期望传播（EP）将 $ n $ 个局部ABC近似组合为单一全局后验近似。
• 实现EP的块并行版本（Cseke & Heskes, 2011），以支持站点更新的大规模并行化。
• 通过在局部容忍度 $ \epsilon $ 下使用ABC拒绝采样来近似似然，将EP算法适配至无似然设置。
• 将后验的高斯近似作为EP腔分布，通过矩匹配迭代优化。

实验结果

研究问题

• RQ1 在ABC中采用分而治之策略是否能在保持或提升后验精度的同时降低计算成本？
• RQ2 在每个数据块中使用局部摘要统计量是否能显著减少相比全局摘要统计量引入的偏差？
• RQ3 能否有效将并行EP算法适配至ABC，以实现可扩展的分布式推断？
• RQ4 在高维、不可识别的模型（如空间极值）中，EP-ABC的表现如何，而标准ABC因计算不可行而失效？
• RQ5 块并行EP变体在不损害收敛性或精度的前提下，能在多大程度上实现加速？

主要发现

• 在空间极值应用中，所提出的EP-ABC方法相比标准ABC实现了超过100倍的加速，而标准ABC在运行一周后仍无法产生有意义的结果。
• 使用局部摘要统计量（包括恒等函数 $ s_i(y_i) = y_i $）可消除摘要统计量引入的偏差，当数据块为充分统计量时尤为有效。
• 块并行EP变体的收敛速度与顺序版本相同，理论上在10核机器上可实现10倍的加速。
• EP-ABC在几乎不可识别的空间极值模型中成功近似了后验分布，表现为即使在强参数相关性下，后验均值和可信区间仍保持准确。
• 该方法生成的高斯后验近似与真实后验形状高度吻合，尤其在 $ \log\nu, \log c $ 参数化下，后验轮廓近似为高斯分布。
• 通过复合似然实现的模型误设具有鲁棒性，如使用边缘复合似然作为伪似然时，后验推断结果仍保持一致。