[论文解读] LF-PPL: A Low-Level First Order Probabilistic Programming Language for Non-Differentiable Models

Yuan Zhou, Bradley Gram-Hansen+4 more|arXiv (Cornell University)|Mar 6, 2019

Bayesian Modeling and Causal Inference被引用 10

一句话总结

本文提出 LF-PPL，一种用于包含连续、离散及分段连续变量的模型的低级一阶概率编程语言。通过强制执行数学约束，确保目标密度中的不连续点测度为零，LF-PPL 实现了不连续边界自动检测，并通过专用的不连续哈密顿蒙特卡洛（DHMC）引擎支持高效推理，相较于标准 HMC，在非可微模型上的性能显著提升。

ABSTRACT

We develop a new Low-level, First-order Probabilistic Programming Language (LF-PPL) suited for models containing a mix of continuous, discrete, and/or piecewise-continuous variables. The key success of this language and its compilation scheme is in its ability to automatically distinguish parameters the density function is discontinuous with respect to, while further providing runtime checks for boundary crossings. This enables the introduction of new inference engines that are able to exploit gradient information, while remaining efficient for models which are not everywhere differentiable. We demonstrate this ability by incorporating a discontinuous Hamiltonian Monte Carlo (DHMC) inference engine that is able to deliver automated and efficient inference for non-differentiable models. Our system is backed up by a mathematical formalism that ensures that any model expressed in this language has a density with measure zero discontinuities to maintain the validity of the inference engine.

研究动机与目标

• 为解决非可微密度概率模型中高效推理的挑战，特别是由离散或分段连续变量引起的模型。
• 设计一种低级概率编程语言，正式保证目标密度中不连续点的测度为零，确保与高级推理算法的兼容性。
• 开发一种编译方案，自动分类连续与不连续变量，并在运行时检测边界穿越。
• 在无需手动指定不连续位置的情况下，实现将专用推理引擎（如 DHMC）集成到概率编程系统中。
• 通过在高斯混合模型和重尾分段分布上的实证评估，证明该框架的实际有效性。

提出的方法

• LF-PPL 通过在模型语法上施加数学约束，确保联合密度函数中的任何不连续点测度为零，从而保持对不连续感知推理算法的有效性。
• 该语言采用一阶、低级语法，显式支持控制流（如 if-else 语句），以表示包含离散与连续变量的混合类型模型。
• 提出一种新颖的编译方案，静态分析模型以分类密度函数在哪些变量上不连续，并在运行时插入边界穿越检测检查。
• 该框架支持实现推理引擎（如不连续哈密顿蒙特卡洛，DHMC），其使用逐坐标积分器，在存在不连续性时仍能保持高效。
• 编译流水线将 LF-PPL 程序转换为可执行推理代码，支持与现有概率编程后端的集成。
• 通过转换规则对系统进行形式化验证，以确保语义正确性及测度为零的不连续性保证。

实验结果

研究问题

• RQ1 能否设计一种低级概率编程语言，正式保证目标密度中的不连续点测度为零？
• RQ2 能否通过编译方案自动识别哪些变量在概率模型的密度函数中引起不连续性？
• RQ3 能否以一种支持非可微模型高效推理的方式，实现在运行时对不连续边界穿越的检测？
• RQ4 能否通过此类编译流水线，在概率编程语言中有效自动化专用推理引擎（如 DHMC）？
• RQ5 在非可微模型上，LF-PPL 中 DHMC 的集成是否相比标准 HMC 及其他基线方法带来可测量的性能提升？

主要发现

• 在高斯混合模型上，LF-PPL 中实现的 DHMC 推理引擎性能与 PyMC3 中使用 Metropolis-within-Gibbs 的 NUTS 相当，10^5 次采样下均方误差（MSE）相近。
• 在具有不连续性的高维分段模型上，DHMC 在最差平均绝对误差（WMAE）方面优于标准 HMC，且维度越高优势越明显。
• 随着维度增加，标准 HMC 性能迅速下降，而 DHMC 凭借其逐坐标积分器设计，保持了稳定的每样本效率。
• 编译方案成功在运行时检测到不连续边界，使 DHMC 无需用户手动标注不连续位置即可正确运行。
• LF-PPL 的形式化语义确保所有用该语言编写的模型其密度函数均具有测度为零的不连续点，验证了不连续感知推理算法的适用性。
• 实证结果证实，LF-PPL 能够实现非可微模型的自动化高效推理，证明了将先进推理引擎集成到 PPL 中的可行性。