[论文解读] ELFI: Engine for Likelihood-Free Inference

Jarno Lintusaari, Henri Vuollekoski+8 more|arXiv (Cornell University)|Aug 2, 2017

Gaussian Processes and Bayesian Inference参考文献 19被引用 33

一句话总结

ELFI 是一个基于 Python 的软件库，通过将模拟器、先验分布、摘要统计量和距离度量组织为灵活可扩展的计算图（ELFI 图），实现无需似然函数的推断（LFI）。它利用贝叶斯优化进行无需似然函数推断（BOLFI）加速推断，支持跨集群的并行计算，并实现模拟数据的自动重用，显著降低了昂贵模拟器的计算成本。

ABSTRACT

Engine for Likelihood-Free Inference (ELFI) is a Python software library for performing likelihood-free inference (LFI). ELFI provides a convenient syntax for arranging components in LFI, such as priors, simulators, summaries or distances, to a network called ELFI graph. The components can be implemented in a wide variety of languages. The stand-alone ELFI graph can be used with any of the available inference methods without modifications. A central method implemented in ELFI is Bayesian Optimization for Likelihood-Free Inference (BOLFI), which has recently been shown to accelerate likelihood-free inference up to several orders of magnitude by surrogate-modelling the distance. ELFI also has an inbuilt support for output data storing for reuse and analysis, and supports parallelization of computation from multiple cores up to a cluster environment. ELFI is designed to be extensible and provides interfaces for widening its functionality. This makes the adding of new inference methods to ELFI straightforward and automatically compatible with the inbuilt features.

研究动机与目标

• 为统计建模中的无需似然函数推断（LFI）提供一个灵活、模块化且可扩展的软件框架。
• 解决当似然函数难以计算或不可用时的推断挑战，转而依赖基于模拟的方法。
• 通过允许轻松重新配置摘要统计量和距离度量等组件而无需重新计算模拟，简化 LFI 中的实验工作流程。
• 通过集成 BOLFI 支持高效推断，该方法通过代理建模减少所需模拟次数，从而降低昂贵模拟器的计算成本。
• 通过自动输出存储和重用，支持从单机到集群的无缝并行计算，以及可复现、版本控制的数据工作流。

提出的方法

• ELFI 将推断流程表示为有向无环图（DAG），其中节点为先验分布、模拟器、摘要统计量和距离度量等组件。
• 组件以可调用函数的形式实现，可用多种编程语言编写，并通过高级 Python API 集成到 ELFI 图中。
• ELFI 图被编译为计算图，以追踪依赖关系，实现中间结果的高效执行与缓存。
• BOLFI 作为核心推断方法原生支持，利用高斯过程对距离函数建模，并通过贝叶斯优化引导模拟器查询。
• ELFI 支持模拟的批量处理，实现与 NumPy 的向量化操作，提升实验过程中的内存使用效率。
• 并行计算通过可插拔后端（如 ipyparallel、Spark）处理，支持在多核或集群上执行，且无需修改图结构。

实验结果

研究问题

• RQ1 如何设计一个模块化且可组合的框架，以统一方式支持多样化的无需似然函数推断工作流？
• RQ2 自动数据重用和缓存在迭代式 LFI 实验中能在多大程度上减少冗余计算？
• RQ3 贝叶斯优化是否能显著减少昂贵模型中进行推断所需的模拟器调用次数？
• RQ4 与单体或脚本化方法相比，基于图的接口在提升 LFI 流程的灵活性和可复现性方面有何优势？
• RQ5 在分布式计算环境中部署时，通用 LFI 库的性能和可扩展性特征如何？

主要发现

• 通过集成 BOLFI，ELFI 实现了推断速度提升数个数量级，该方法通过智能查询选择减少所需模拟运行次数。
• 基于图的架构允许用户在不重新计算先前生成的模拟的前提下修改摘要统计量或距离度量，显著节省了迭代实验中的时间成本。
• ELFI 支持完整的数据重用：图中任意节点的输出都会自动存储并在依赖项变化时重用，从而消除冗余计算。
• 该库是唯一原生支持迭代式、逐样本推断的通用 LFI 框架，可实现收敛性监控和提前停止。
• ELFI 是唯一提供开箱即用的本地与集群并行计算支持的 LFI 软件，且无缝集成多种后端，包括 ipyparallel 和 Spark。
• ELFI 的模块化设计支持通过新增推断方法、数据存储或组件轻松扩展，确保长期可维护性，并与新研究进展保持兼容。