[论文解读] Knowledge Compilation with Continuous Random Variables and its Application in Hybrid Probabilistic Logic Programming

Pedro Zuidberg Dos Martires, Anton Dries+1 more|arXiv (Cornell University)|Jul 2, 2018

Bayesian Modeling and Causal Inference参考文献 16被引用 7

一句话总结

本文提出了一种基于加权模型积分（WMI）和代数模型计数（AMC）的混合概率逻辑编程知识编译新方法，实现了对连续和离散随机变量的精确推理。提出了一款名为 Symbo 的求解器，利用知识编译技术进行 WMI 求解，避免了迭代式 SMT 求解；同时提出了 HAL-ProbLog，一种支持符号化、精确推理的混合逻辑编程语言，通过知识编译（KC）显著提升了效率，优于基于 SMT 的方法。

ABSTRACT

In probabilistic reasoning, the traditionally discrete domain has been elevated to the hybrid domain encompassing additionally continuous random variables. Inference in the hybrid domain, however, usually necessitates to condone trade-offs on either the inference on discrete or continuous random variables. We introduce a novel approach based on weighted model integration and algebraic model counting that circumvents these trade-offs. We then show how it supports knowledge compilation and exact probabilistic inference. Moreover, we introduce the hybrid probabilistic logic programming language HAL-ProbLog, an extension of ProbLog, to which we apply our inference approach.

研究动机与目标

• 解决混合领域中结合离散与连续随机变量的精确概率推理挑战。
• 克服现有 WMI 方法依赖 SMT 求解器所导致的可扩展性与表达能力受限的权衡。
• 将知识编译技术整合到 WMI 中，实现在混合概率逻辑编程中的符号化、精确推理。
• 开发新型求解器 Symbo，利用知识编译技术进行 WMI 求解，避免迭代式 SMT 求解。
• 通过 HAL-ProbLog 扩展 ProbLog 的能力，支持混合推理，实现对连续与离散变量的完整符号化推理。

提出的方法

• 在概率密度半环的框架下，将加权模型积分（WMI）纳入代数模型计数（AMC）的体系。
• 定义概率密度半环，通过 AMC 将 WMC 扩展至连续分布。
• 使用知识编译技术（如 SDD）将逻辑理论编译为算术电路，以高效评估 WMI。
• 实现 Symbo 作为 WMI 求解器，将 SMT(𝒩RA) 公式编译为算术电路并执行符号化积分。
• 在 aProbLog 中引入概率密度半环以支持混合推理，从而构建 HAL-ProbLog。
• 利用先前研究中的符号化简化结果，降低生成代数表达式的复杂度。

实验结果

研究问题

• RQ1 知识编译能否有效应用于混合概率模型的加权模型积分（WMI）？
• RQ2 如何通过概率密度半环将代数模型计数（AMC）扩展至支持连续随机变量？
• RQ3 知识编译能否提升基于 WMI 的混合领域推理的效率与可扩展性？
• RQ4 像 HAL-ProbLog 这类混合概率逻辑编程语言在多大程度上能从符号化、编译化推理中受益？
• RQ5 基于知识编译的 WMI 与基于 SMT 的方法在混合推理任务中的性能表现如何比较？

主要发现

• Symbo 通过将 SMT(𝒩RA) 公式编译为算术电路，在 WMI 推理中实现了显著加速，减少了重复的 SMT 求解。
• Symbo 中的知识编译方法降低了对迭代式 SMT 求解的需求，尤其在对同一理论回答多个查询时优势明显。
• HAL-ProbLog 有效扩展了 ProbLog，通过 KC 支持混合推理，实现了对连续与离散变量的符号化、精确推理。
• 基准测试结果表明，Symbo 在混合领域中优于 PSI（基于 SMT 的求解器），临床试验（ClinicalTrial）的评估时间仅为 54.6ms，ClickGraph 为 4300ms，显示出良好的可扩展性。
• 该方法支持比以往 WMI 方法更广泛的概率密度类型和约束，后者通常局限于分段多项式或高斯分布。
• AMC 与 WMI 的集成实现了无需近似的确切推理，避免了密度分解或采样需求。