[论文解读] Logic Tensor Networks: Deep Learning and Logical Reasoning from Data and Knowledge

Luciano Serafini, Artur d’Avila Garcez|arXiv (Cornell University)|Jun 14, 2016

Topic Modeling参考文献 20被引用 137

一句话总结

LTN 将一阶逻辑与张量网络结合，在实值赋值上进行学习与推理；在 TensorFlow 中实现，用于知识补全与数据预测。

ABSTRACT

We propose Logic Tensor Networks: a uniform framework for integrating automatic learning and reasoning. A logic formalism called Real Logic is defined on a first-order language whereby formulas have truth-value in the interval [0,1] and semantics defined concretely on the domain of real numbers. Logical constants are interpreted as feature vectors of real numbers. Real Logic promotes a well-founded integration of deductive reasoning on a knowledge-base and efficient data-driven relational machine learning. We show how Real Logic can be implemented in deep Tensor Neural Networks with the use of Google's tensorflow primitives. The paper concludes with experiments applying Logic Tensor Networks on a simple but representative example of knowledge completion.

研究动机与目标

• 通过将知识表示与数据驱动学习整合，利用实值赋值来驱动学习与推理。
• 将 Real Logic 定义为具有实数真值的多值一阶逻辑。
• 提出基于张量网络的 grounding，使学习即推理可用于关系知识。
• 在深度张量神经网络中实现 Real Logic，形成 LTNs。
• 在关系设定（朋友与吸烟者）中演示知识完成，以展示学习驱动的推理。

提出的方法

• 引入 Real Logic，其 grounding 函数将常量映射到实值向量，谓词通过 s-范数映射到 [0,1] 值。
• 使用张量网络实现函数与谓词 grounding：G(f)(v1,...,vm)=Mf v + nf 与 G(P)(v) = σ(uP^T tanh(v^T WP^[1:k] v + VP v + BP))。
• 采用近似可满足性：当 grounding 违背 Grounded 子句的区间约束时最小化损失。
• 在有限实例化深度内控制子句的实例化并利用反向传播学习 grounding 参数。
• 将该方法嵌入 TensorFlow 以形成 Logic Tensor Network (LTN) 架构。
• 将知识完成场景（朋友与烟民）用于展示从背景知识中学习。

实验结果

研究问题

• RQ1 如何将带实值真值的一阶逻辑与深度学习整合，以同时支持推理与学习？
• RQ2 张量网络 grounding 表示是否能有效将关系知识与数据驱动 grounding 相结合，以实现知识补全和预测？
• RQ3 与仅依赖逻辑推理或数据驱动学习相比，联合学习约束与背景知识有哪些好处？
• RQ4 在没有封闭世界假设的开放领域设置中，与其他神经-符号框架相比，Real Logic 的表现如何？

主要发现

• Real Logic 为一阶语言提供了原理性、实值语义，使在开放领域进行学习和推理成为可能。
• LTN 将 Real Logic 与神经张量网络实例化，使在 TensorFlow 中进行端到端学习并结合逻辑约束成为可能。
• 在知识完成任务（朋友与烟民）中，LTNs 能对已知事实赋予高真值，并通过 grounding 相似性推断出合理的新事实。
• 融入背景知识可提升可满足性，并使模型能够预测出数据本身并未蕴含的额外真实事实。
• 该框架支持灵活选择 t-norm，并可以使用类 Skolem 构造来生成普遍量化陈述的数据。