[论文解读] Discrete-Continuous Mixtures in Probabilistic Programming: Generalized Semantics and Inference Algorithms

Yi Wu, Siddharth Srivastava+3 more|arXiv (Cornell University)|Jun 6, 2018

Bayesian Modeling and Causal Inference被引用 12

一句话总结

本文引入了测度论贝叶斯网络（MTBNs），以推广概率编程语义，适用于离散-连续混合分布，从而能够正确建模混合型随机变量。本文提出了两种可证明正确的推理算法——字典序似然加权（LLW）和字典序粒子滤波（LPF），并在BLOG中进行了验证，展示了在标准方法因混淆概率质量与密度而失效时，仍能实现准确推理。

ABSTRACT

Despite the recent successes of probabilistic programming languages (PPLs) in AI applications, PPLs offer only limited support for random variables whose distributions combine discrete and continuous elements. We develop the notion of measure-theoretic Bayesian networks (MTBNs) and use it to provide more general semantics for PPLs with arbitrarily many random variables defined over arbitrary measure spaces. We develop two new general sampling algorithms that are provably correct under the MTBN framework: the lexicographic likelihood weighting (LLW) for general MTBNs and the lexicographic particle filter (LPF), a specialized algorithm for state-space models. We further integrate MTBNs into a widely used PPL system, BLOG, and verify the effectiveness of the new inference algorithms through representative examples.

研究动机与目标

• 解决概率编程语言（PPLs）在处理具有混合离散与连续分布的随机变量时缺乏正式语义的问题。
• 构建一种广义的语义基础，支持任意测度空间，包括不可数的父节点集合和开放世界语义。
• 设计能够正确区分混合分布中离散概率质量与连续概率密度的推理算法。
• 将新语义与算法集成到广泛使用的PPL——BLOG中，并在真实世界模型上评估其有效性。

提出的方法

• 引入测度论贝叶斯网络（MTBNs），作为支持任意测度空间和混合分布的贝叶斯网络的推广。
• 定义一种正式的测度论语义，确保每个MTBN在输入空间上唯一表示一个概率测度。
• 开发字典序似然加权（LLW），一种采样算法，通过字典序排列正确处理离散质量与连续密度。
• 设计字典序粒子滤波（LPF），一种专用于状态空间模型的算法，在混合分布下保持正确性。
• 在BLOG PPL中实现MTBNs及新的推理算法，扩展其语法和类型系统以支持混合分布。
• 使用修改后的BLOG编译器生成正确推理代码，尊重证据和条件分布中离散与连续分量之间的区别。

实验结果

研究问题

• RQ1 如何正式扩展概率编程语言以支持具有混合离散与连续分布的随机变量？
• RQ2 何种语义基础可确保在概率模型中组合离散质量与连续密度时的一致性与正确性？
• RQ3 能否设计出可证明正确处理离散概率质量与连续概率密度区别的推理算法？
• RQ4 在标准推理方法因错误处理混合分布而失效的实际模型中，新算法的表现如何？
• RQ5 所扩展的语义与推理方法在涉及混合传感器与阈值测量的实际应用中，能在多大程度上提升推理能力？

主要发现

• 在GPA模型中，LLW正确推断出GPA为4.0的学生必定来自美国，而标准似然加权因混淆密度与质量而错误倾向于印度。
• 在噪声秤模型中，LLW在秤平衡时始终返回正确的后验分布，即不存在假硬币，而朴素似然加权则依赖于噪声参数σ，收敛到错误结果。
• 在追踪模型中，LPF通过正确解释精确半径测量为超出范围的证据，准确预测了真实飞机位置，而朴素粒子滤波未能收敛到正确后验。
• LPF预测与真实飞机位置之间的均方误差显著低于朴素粒子滤波，且随着粒子数量增加，LPF收敛至真实值。
• 在BLOG中的实现成功扩展了语言，使其能够建模截断传感器（如输出精确范围的雷达），而这类模型在原始BLOG语义中此前无法表示。
• 结果表明，标准PPL推理算法在应用于离散-连续混合分布时会产生错误结果，而所提出的算法在MTBN框架下具有可证明的正确性。