[论文解读] Blang: Bayesian declarative modelling of general data structures and inference via algorithms based on distribution continua

Alexandre Bouchard‐Côté, Kevin Chern+6 more|arXiv (Cornell University)|Dec 22, 2019

Bayesian Methods and Mixture Models参考文献 8被引用 4

一句话总结

Blang 是一种贝叶斯概率编程语言，支持使用类似 BUGS 的语法对任意非标准数据结构（如组合对象、系统发育树和比对）进行声明式建模。它通过利用分布连续体和动态采样器组合，借助可扩展的蒙特卡洛方法（包括非可逆 MCMC 和顺序测度变换）自动实现推理，在无需手动调整算法的情况下，实现了在复杂状态空间上的高性能推理。

ABSTRACT

Consider a Bayesian inference problem where a variable of interest does not take values in a Euclidean space. These "non-standard" data structures are in reality fairly common. They are frequently used in problems involving latent discrete factor models, networks, and domain specific problems such as sequence alignments and reconstructions, pedigrees, and phylogenies. In principle, Bayesian inference should be particularly well-suited in such scenarios, as the Bayesian paradigm provides a principled way to obtain confidence assessment for random variables of any type. However, much of the recent work on making Bayesian analysis more accessible and computationally efficient has focused on inference in Euclidean spaces. In this paper, we introduce Blang, a domain specific language and library aimed at bridging this gap. Blang allows users to perform Bayesian analysis on arbitrary data types while using a declarative syntax similar to BUGS. Blang is augmented with intuitive language additions to create data types of the user's choosing. To perform inference at scale on such arbitrary state spaces, Blang leverages recent advances in sequential Monte Carlo and non-reversible Markov chain Monte Carlo methods.

研究动机与目标

• 填补贝叶斯推理工具在非欧几里得、组合型数据结构（如系统发育树、比对和网络）方面的空白。
• 通过抽象低级采样复杂性，简化在任意状态空间上贝叶斯模型的开发与部署。
• 通过自动化集成先进蒙特卡洛算法，实现在复杂模型上的可扩展、高性能推理。
• 通过提供功能完整的软件栈（含 IDE 支持和依赖管理），支持可复现、模块化和可组合的模型开发。
• 通过将复杂的采样方案（如非可逆 MCMC、SMC）直接嵌入高级建模语言，实现高性能推理的普及化。

提出的方法

• Blang 使用基于 Xtext 的领域特定语言，为任意数据类型上的概率模型提供声明式、类似 BUGS 的语法。
• 它引入一种带注解的类型系统（如 @Samplers 和 @ConnectedFactor），支持运行时基于反射的动态采样器发现与组合。
• 该框架自动构建先验与后验之间的概率分布插值族（分布连续体），从而支持高效的非可逆 MCMC 和顺序测度变换（SCM）算法。
• 它利用自适应、并行化的推理方案（包括并行退火和非可逆 MCMC），并根据模型结构和数据类型自动应用这些方法。
• 系统通过模块化采样器注册表实现自动推理管道构建，采样器根据隐变量类型及其关联因子被选择并实例化。
• 通过完整的 IDE 支持、静态类型检查、即时编译，以及与标准软件工程实践（如测试、性能分析和版本控制）的集成，显著提升了模型开发体验。

实验结果

研究问题

• RQ1 如何在组合对象和离散图等任意非标准数据结构上高效且可扩展地执行贝叶斯推理？
• RQ2 声明式建模语言能否在无需手动调整算法的情况下，自动选择并组合高性能的 MCMC 和 SMC 采样器？
• RQ3 分布连续体在概率建模中，能在多大程度上统一并加速跨多样化状态空间的推理？
• RQ4 具备完整 IDE 支持和模块化依赖管理的现代软件栈，如何在实践中提升贝叶斯建模的可用性和可复现性？
• RQ5 能否将非可逆 MCMC 和顺序测度变换等高级蒙特卡洛方法抽象为高级语言，同时不损失性能或表达能力？

主要发现

• Blang 通过声明式、高级语法成功实现了对复杂非标准数据结构（如单纯形、整数和组合对象）的贝叶斯推理。
• 系统基于模型注解和因子图结构自动构建并组合采样器，无需为每种模型类型手动实现采样器。
• 分布连续体的使用使得非可逆 MCMC 和顺序测度变换（SCM）推理高效可行，且在并行架构上具有良好可扩展性。
• 通过自适应、专用采样器的自动应用，框架在基准模型（包括系统发育树和序列比对）上实现了高性能，且无需用户干预。
• 集成完整的软件工程工具链（如静态类型检查、调试、性能分析和依赖管理）显著提升了模型的可维护性和可复现性。
• 该系统表明，高级蒙特卡洛推理可被抽象为高级语言而不损失计算效率，例如在示例推理管道中自动构建了 2 个采样器（RealSliceSampler 和 IntSliceSampler）。