[论文解读] Deriving Probability Density Functions from Probabilistic Functional Programs

Sooraj Bhat, Johannes Borgström+2 more|arXiv (Cornell University)|Apr 4, 2017

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文提出了一种可靠的密度编译器，可从概率函数式程序自动推导概率密度函数（PDF），支持具有失败行为的离散和连续分布。通过扩展一种函数式语言以支持积分原语，并证明其类型安全性和正确性，该方法使基于MCMC及其他方法的高效推断成为可能，显著减少了科学建模应用中手动推导的工作量。

ABSTRACT

The probability density function of a probability distribution is a fundamental concept in probability theory and a key ingredient in various widely used machine learning methods. However, the necessary framework for compiling probabilistic functional programs to density functions has only recently been developed. In this work, we present a density compiler for a probabilistic language with failure and both discrete and continuous distributions, and provide a proof of its soundness. The compiler greatly reduces the development effort of domain experts, which we demonstrate by solving inference problems from various scientific applications, such as modelling the global carbon cycle, using a standard Markov chain Monte Carlo framework.

研究动机与目标

• 弥合概率函数式编程与统计推断中对概率密度函数（PDF）需求之间的差距。
• 在支持连续和离散分布的丰富语言中，形式化定义并证明从概率程序到PDF的编译过程的正确性。
• 使领域专家能够以声明式方式指定模型，并自动生成可用于MCMC、最大似然及其他推断技术的PDF。
• 在支持失败和复杂控制流的同时，确保推导出的PDF在数学上保持正确性。

提出的方法

• 扩展一种概率函数式语言，引入新的积分构造 ∫tλ(x₁,…,xn).E，用于表示在乘积类型上对函数的积分，从而支持PDF的计算。
• 为目标语言 ∫un 定义类型系统，并设计积分的类型规则，以确保PDF表达式的良好形式。
• 使用恒等单子定义语义，解释程序并计算PDF值为实数。
• 证明关键类型系统性质：代换、弱化和强化，确保编译过程的类型安全性。
• 将编译器集成到标准MCMC流水线中，展示了在真实世界科学模型上的端到端推断。
• 使用符号和数值积分从程序语法计算PDF，同时在复杂控制结构下保持正确性。

实验结果

研究问题

• RQ1 是否可以系统性地将包含连续和离散分布的概率函数式程序编译为其对应的概率密度函数？
• RQ2 在概率程序中如何处理失败和复杂控制流，同时保持推导出的PDF的正确性？
• RQ3 在混合离散-连续分布的情况下，密度编译器的正确性可提供哪些形式化保证？
• RQ4 自动推导PDF在多大程度上减轻了科学建模应用中的开发负担？

主要发现

• 该密度编译器能正确推导出涵盖广泛类型概率程序的PDF，包括具有失败、离散和连续分布的程序。
• 形式化的类型系统和语义确保了编译后的PDF在数学上是严谨且类型正确的。
• 该方法可无缝集成到标准MCMC推断框架中，已在全球碳循环模型上得到验证。
• 该方法支持非平凡的程序结构，如条件语句和嵌套绑定，PDF通过符号和数值积分推导得出。
• 该编译器显著减少了科学应用中的手动推导工作量，使领域专家能够专注于建模而非微积分计算。