[论文解读] Augur: a Modeling Language for Data-Parallel Probabilistic Inference

Jean-Baptiste Tristan, Daniel Huang+4 more|arXiv (Cornell University)|Dec 12, 2013

Time Series Analysis and Forecasting被引用 4

一句话总结

Augur 是一种概率编程语言及编译器，可自动为贝叶斯网络生成高度优化、数据并行的推理代码，目标架构为 GPU。通过利用条件独立性与符号中间表示，Augur 将 LDA 和高斯混合模型等模型编译为可扩展的 GPU 内核，其运行时间和可扩展性在数据规模增大时优于手工优化的实现及其他概率工具。

ABSTRACT

It is time-consuming and error-prone to implement inference procedures for each new probabilistic model. Probabilistic programming addresses this problem by allowing a user to specify the model and having a compiler automatically generate an inference procedure for it. For this approach to be practical, it is important to generate inference code that has reasonable performance. In this paper, we present a probabilistic programming language and compiler for Bayesian networks designed to make effective use of data-parallel architectures such as GPUs. Our language is fully integrated within the Scala programming language and benefits from tools such as IDE support, type-checking, and code completion. We show that the compiler can generate data-parallel inference code scalable to thousands of GPU cores by making use of the conditional independence relationships in the Bayesian network.

研究动机与目标

• 通过自动生成功能高效、并行的推理代码，解决贝叶斯网络推理实现中的高复杂度与性能瓶颈问题。
• 通过将模型定义与推理实现解耦，降低错误率并缩短开发时间，实现概率编程的实际应用。
• 通过自动识别和利用贝叶斯网络中的条件独立性，自动发掘并行性，提升马尔可夫链蒙特卡洛（MCMC）算法（尤其是 Metropolis-Hastings 和 Gibbs 采样）中的数据并行性。
• 在保持新推理算法模块化与可扩展性的同时，实现与手工优化 GPU 代码（如 CUDA）相当的性能。
• 通过使用符号表示而非显式构建图形模型，实现对大规模模型（如包含数千个主题和数百万数据点的 LDA）的高效推理。

提出的方法

• Augur 在 Scala 中使用领域特定嵌入式语言，借助宏实现类型安全与 IDE 支持，以函数式风格表达概率模型。
• 它将模型编译为一种符号中间表示（IR），在不构建完整图形模型的前提下捕捉完整的分布结构，从而支持高效分析与优化。
• 利用该 IR 自动推导出数据并行的推理内核，通过识别数据点与参数之间的条件独立性（尤其在 i.i.d. 场景下）实现并行化。
• 编译器为 Metropolis-Hastings 和 Gibbs 采样生成 GPU 优化内核，利用每个数据点的独立性，在数千个 GPU 核上实现大规模并行处理。
• 该系统支持模块化推理算法集成，使分析与优化可在不同 MCMC 方法间复用。
• 系统包含一个 Metropolis-Within-Gibbs 采样器，并支持混合推理策略，但这些内容在论文中未作详细说明。

实验结果

研究问题

• RQ1 概率编程语言能否自动生成功能高效、可在 GPU 上扩展的数据并行推理代码，用于贝叶斯网络？
• RQ2 自动生成功能的 GPU 推理性能与手工优化的 CUDA 代码及其他概率框架（如 Stan 和 JAGS）相比如何？
• RQ3 符号化表示分布在 LDA 和 GMM 等大规模模型中，能否显著提升可扩展性并降低内存开销？
• RQ4 生成代码的性能如何随数据规模和主题数量的增加而变化？
• RQ5 编译器能否在保持高性能与模块化的同时，有效支持多种推理算法（如 Metropolis-Hastings 和 Gibbs 采样）？

主要发现

• Augur 为 LDA 的 Gibbs 采样生成的 GPU 代码性能与手工优化的 CUDA 实现相当，尤其在采样超过 256 次时表现更优。
• 对于高斯混合模型，Augur 的运行时间随数据规模增长的速度远慢于 Stan，且在数据点超过 100,000 个时，性能优于 JAGS 约 7 倍。
• Stan 的性能随数据规模增加而严重下降，100,000 个数据点的运行时间不足 3 小时，而 Augur 保持高效扩展。
• 随着主题数量增加，Augur 的性能保持稳定高效，而 Factorie 中的折叠 Gibbs 采样器则因主题数增加而显著退化。
• Factorie 的稀疏实现表现出不可靠行为，预测概率随时间下降，表明可能存在正确性问题。
• 编译开销在样本数超过 256 时可被有效摊销，使 Augur 在中等规模样本下仍具竞争力。