[论文解读] Loglinear models for first-order probabilistic reasoning

James Cussens|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 18被引用 48

一句话总结

本文提出了一种用于一阶概率推理的对数线性模型框架，通过使用带标签和不带标签的确定性子句的随机逻辑程序（SLPs），直接在原子公式的证明上定义概率。该框架通过保持逻辑变量与随机变量之间的一一对应关系，实现了对一阶逻辑的保守扩展，并展示了归纳逻辑编程（ILP）如何从数据中归纳出对数线性模型的特征，为现有的一阶概率模型提供了一种原则性的替代方案。

ABSTRACT

Recent work on loglinear models in probabilistic constraint logic programming is applied to first-order probabilistic reasoning. Probabilities are defined directly on the proofs of atomic formulae, and by marginalisation on the atomic formulae themselves. We use Stochastic Logic Programs (SLPs) composed of labelled and unlabelled definite clauses to define the proof probabilities. We have a conservative extension of first-order reasoning, so that, for example, there is a one-one mapping between logical and random variables. We show how, in this framework, Inductive Logic Programming (ILP) can be used to induce the features of a loglinear model from data. We also compare the presented framework with other approaches to first-order probabilistic reasoning.

研究动机与目标

• 开发一种原则化的框架，用于一阶概率推理，将对数线性模型与逻辑证明结构相结合。
• 直接在原子公式的证明上定义概率，从而实现向原子公式的边缘化。
• 通过保持逻辑变量与随机变量之间的一一对应关系，确保对一阶逻辑的保守扩展。
• 使归纳逻辑编程（ILP）能够从数据中归纳出对数线性模型的特征。
• 将所提出的框架与现有的一阶概率推理方法进行比较。

提出的方法

• 使用由带标签和不带标签的确定性子句组成的随机逻辑程序（SLPs），定义证明上的联合概率分布。
• 通过一个对数线性模型为证明分配概率，其中特征来源于证明结构和SLP子句。
• 应用边缘化方法，从证明级别的概率推导出原子公式的概率。
• 在一阶逻辑中的逻辑变量与概率模型中的随机变量之间建立一一对应关系，确保逻辑一致性。
• 利用归纳逻辑编程（ILP）从观测数据中学习对数线性模型的特征函数。
• 将该框架与现有的一阶概率模型进行比较，突出其在表达能力和一致性方面的优势。

实验结果

研究问题

• RQ1 如何将对数线性模型适配于支持直接在证明上分配概率的一阶概率推理？
• RQ2 保持逻辑变量与随机变量之间一一对应关系对模型的一致性和可解释性有何影响？
• RQ3 归纳逻辑编程（ILP）能否在一类一阶设定下有效归纳出对数线性模型的特征函数？
• RQ4 与现有的一阶概率模型相比，该框架在表达能力和推理效率方面表现如何？
• RQ5 在证明上定义概率而非直接在原子公式上定义概率，其理论和实际优势是什么？

主要发现

• 该框架是对一阶逻辑的保守扩展，保持了逻辑变量与随机变量之间的一一对应关系。
• 通过基于证明结构和SLP子句的特征，利用对数线性模型在证明上定义概率。
• 对证明进行边缘化可得到原子公式的有效概率，确保与一阶逻辑的一致性。
• ILP可有效用于从数据中归纳出对数线性模型的特征函数，实现数据驱动的模型学习。
• 该方法通过将概率建立在证明结构之上，为现有的一阶概率模型提供了一种原则性的替代方案。
• 该框架在统一且可解释的模型中同时支持逻辑推理与概率推理。