[论文解读] Learning Probabilistic Logic Programs in Continuous Domains

Stefanie Speichert, Vaishak Belle|arXiv (Cornell University)|Jul 15, 2018

Bayesian Modeling and Causal Inference参考文献 37被引用 5

一句话总结

本文提出了一种新颖的框架，用于从连续数据和混合离散-连续数据中学习概率逻辑程序，且无需假设固定的参数分布。该框架使用分段多项式逼近来建模复杂的密度函数，并将其与符号规则学习相结合，实现在连续领域中的组合式、可解释且高效的推理——这是首个能够学习任意连续分布的概率逻辑编程方法。

ABSTRACT

The field of statistical relational learning aims at unifying logic and probability to reason and learn from data. Perhaps the most successful paradigm in the field is probabilistic logic programming: the enabling of stochastic primitives in logic programming, which is now increasingly seen to provide a declarative background to complex machine learning applications. While many systems offer inference capabilities, the more significant challenge is that of learning meaningful and interpretable symbolic representations from data. In that regard, inductive logic programming and related techniques have paved much of the way for the last few decades. Unfortunately, a major limitation of this exciting landscape is that much of the work is limited to finite-domain discrete probability distributions. Recently, a handful of systems have been extended to represent and perform inference with continuous distributions. The problem, of course, is that classical solutions for inference are either restricted to well-known parametric families (e.g., Gaussians) or resort to sampling strategies that provide correct answers only in the limit. When it comes to learning, moreover, inducing representations remains entirely open, other than "data-fitting" solutions that force-fit points to aforementioned parametric families. In this paper, we take the first steps towards inducing probabilistic logic programs for continuous and mixed discrete-continuous data, without being pigeon-holed to a fixed set of distribution families. Our key insight is to leverage techniques from piecewise polynomial function approximation theory, yielding a principled way to learn and compositionally construct density functions. We test the framework and discuss the learned representations.

研究动机与目标

• 解决现有方法在连续和混合离散-连续数据上学习概率逻辑程序的缺乏问题。
• 克服现有方法局限于固定参数族（如高斯分布）的局限性。
• 开发一种组合式、可解释且高效的连续概率逻辑程序学习与推理方法。
• 通过与现有概率逻辑编程系统集成的模块化接口，实现在混合离散-连续概率空间中的符号化集成与推理。
• 提供一种数据驱动的非参数方法，从连续特征中推导出密度函数和规则，而无需强制将数据拟合到预定义的分布族中。

提出的方法

• 利用分段多项式函数逼近理论，建模任意连续密度函数，且无需假设参数形式。
• 将连续概率密度表示为在分区区间上的多项式分段组合，支持精确积分与高效推理。
• 采用离散化策略（如基于距离或有监督的）将连续变量转换为基于区间的谓词，以支持规则学习。
• 应用标准的离散归纳逻辑编程（如ProbFOIL）在离散化后的连续变量和离散谓词上学习确定性规则。
• 通过与ProbLog的外部接口，将学习到的密度函数与符号推理相结合，支持混合查询及成功概率计算。
• 采用模块化架构，将密度学习与规则学习解耦，支持与现有概率逻辑编程系统的复用。

实验结果

研究问题

• RQ1 能否在不假设如高斯分布等固定参数族的前提下，从连续数据中学习概率逻辑程序？
• RQ2 如何以符号化、可解释的方式表示和组合复杂、任意形状的连续概率密度？
• RQ3 标准离散规则学习器在混合设置下，对离散化后的连续特征学习规则的适应程度如何？
• RQ4 无监督与有监督离散化对规则紧凑性和可解释性的影响程度如何？
• RQ5 分段多项式密度的符号化集成能否与概率逻辑编程高效结合，以实现准确推理？

主要发现

• 该框架成功从连续数据中学习到可解释的概率逻辑程序，且无需假设预定义的参数族，能够表示复杂的密度形状。
• 有监督离散化相比无监督方法能生成更紧凑的规则，表现为规则体更短、否定更少、整体程序规模更小，且在相同分箱数下表现更优。
• 对于相同分箱大小，不同离散化策略下学习到的规则在句法上完全一致，表明其在数据预处理中具有潜在的诊断价值。
• 实证评估表明，该框架支持高精度推理：例如，斯洛伐克的happiness6概率被计算为0.143，当引入多变量连续关系（social(X,Y)）后，该概率上升至0.135。
• 该方法实现了有效的分段多项式密度符号化集成，支持精确推理，无需依赖采样或渐近收敛。
• 通过与ProbLog的集成，该方法展示了可行性与模块化特性，表明连续密度学习与符号规则学习可被系统化、可扩展地组合。