[论文解读] Church: a language for generative models

Noah D. Goodman, Vikash K. Mansinghka+3 more|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 21被引用 507

一句话总结

Church 是一种基于 Lisp 的概率编程语言，通过随机 λ 演算支持复杂生成模型的构建。它引入了随机记忆化机制以简化非参数模型，并通过蒙特卡洛方法支持精确与近似推理，从而在聚类、规划和层次建模等多样化人工智能应用中实现灵活且可扩展的贝叶斯推理。

ABSTRACT

We introduce Church, a universal language for describing stochastic generative processes. Church is based on the Lisp model of lambda calculus, containing a pure Lisp as its deterministic subset. The semantics of Church is defined in terms of evaluation histories and conditional distributions on such histories. Church also includes a novel language construct, the stochastic memoizer, which enables simple description of many complex non-parametric models. We illustrate language features through several examples, including: a generalized Bayes net in which parameters cluster over trials, infinite PCFGs, planning by inference, and various non-parametric clustering models. Finally, we show how to implement query on any Church program, exactly and approximately, using Monte Carlo techniques.

研究动机与目标

• 设计一种通用语言，以系统化且可组合的方式描述随机生成过程。
• 通过基于 Lisp 的语法和语义，将概率推理与函数式编程相结合。
• 实现对非参数贝叶斯模型（如无限混合模型和聚类）的简洁建模。
• 通过蒙特卡洛技术支持精确与近似推理，以实现实际部署。
• 基于评估历史和条件分布提供形式化语义，确保模型解释的严谨性。

提出的方法

• Church 扩展了 Lisp，引入了随机原语，使随机选择可嵌入函数表达式中。
• 通过评估历史及其上的条件分布定义语义，以建模概率计算。
• 引入随机记忆化作为核心语言构造，用于缓存和重用随机值，从而高效建模非参数分布。
• 语言支持高阶函数和闭包，允许对复杂随机过程进行递归和参数化建模。
• 通过马尔可夫链蒙特卡洛（MCMC）及其他蒙特卡洛技术实现推理，以回答 Church 程序中的查询。
• 系统同时支持精确推理（通过枚举）和近似推理（通过采样），并可扩展以支持新的推理算法。

实验结果

研究问题

• RQ1 如何将通用编程语言扩展为支持一等随机原语，以建模任意生成过程？
• RQ2 何种形式化语义可支持在函数式语言中实现稳健且可组合的概率推理？
• RQ3 如何简洁高效地表达非参数模型（如无限混合模型）？
• RQ4 单一语言与推理框架能否统一包括规划与层次建模在内的多样化概率建模任务？
• RQ5 何种机制可实现复杂递归概率程序中可扩展且可伸缩的推理？

主要发现

• Church 能够以极少的语法开销指定复杂的非参数模型，如无限概率上下文无关文法（PCFG）和聚类模型。
• 随机记忆化机制使得共享随机变量和无限维分布的模型能够自然且高效地编码。
• 该语言同时支持精确与近似推理，蒙特卡洛方法为大规模或复杂模型提供了可扩展的解决方案。
• Church 的语义基于评估历史和条件分布，形式化地确保了概率程序解释的严谨性。
• 该框架成功实现了对具有跨试验参数聚类的层次贝叶斯网络的建模，展示了在结构化不确定性建模中的灵活性。
• 函数式编程与概率推理的集成，使得在多样化人工智能应用中能够构建表达性强、模块化且可重用的概率模型。