[论文解读] Logical Neural Networks

Ryan Riegel, Alexander Gray+13 more|arXiv (Cornell University)|Jun 23, 2020

Bayesian Modeling and Causal Inference参考文献 20被引用 81

一句话总结

Logical Neural Networks (LNNs) 将神经学习与符号逻辑整合，通过将神经元映射到加权实值逻辑的元素，实现端到端可微、双向且可解释的推理，且具开放世界边界。

ABSTRACT

We propose a novel framework seamlessly providing key properties of both neural nets (learning) and symbolic logic (knowledge and reasoning). Every neuron has a meaning as a component of a formula in a weighted real-valued logic, yielding a highly intepretable disentangled representation. Inference is omnidirectional rather than focused on predefined target variables, and corresponds to logical reasoning, including classical first-order logic theorem proving as a special case. The model is end-to-end differentiable, and learning minimizes a novel loss function capturing logical contradiction, yielding resilience to inconsistent knowledge. It also enables the open-world assumption by maintaining bounds on truth values which can have probabilistic semantics, yielding resilience to incomplete knowledge.

研究动机与目标

• 引入一种神经符号框架，将神经学习与符号逻辑统一用于可解释的知识表示。
• 构建神经元与逻辑公式元素的一对一对应，以实现双向、可证明的推理。
• 开发可微学习目标，惩罚逻辑矛盾并通过真值界限支持开放世界假设。
• 展示带有保证收敛的推理效率，以及对一阶逻辑和定理证明的适用性。

提出的方法

• 将逻辑公式表示为图，其中每个神经元对应一个逻辑原子或连接词，输出在 [0,1] 作为真值界限。
• 使用受限于匹配逻辑连词（AND、OR、NOT、IMPLIES）的激活函数，并通过对 grounding 元组进行 min/max 聚合，为一阶量词提供支持。
• 引入带参数（weights、bias、function f）的加权非线性实值逻辑，以实现合取、析取和蕴含作为可微分算子。
• 采用向上–向下推理算法，迭代地在子公式之间收紧边界，直到有限步收敛。
• 允许双向推理，使输出的边界约束输入，从而在 LNN 框架内实现诸如 modus ponens 和 modus tollens 的规则。
• 通过反向传播学习神经参数（权重、边界，以及可能的原子置信度），使用惩罚矛盾并在经典输入上鼓励经典行为的损失函数。

实验结果

研究问题

• RQ1 神经网络是否可以被构造成使每个神经元对应逻辑公式的一个组成部分，从而实现透明的真值边界？
• RQ2 双向推理和边界收紧是否在可微模型中产生可靠、收敛的推理，类似定理证明？
• RQ3 如何通过真值边界来在 LNNs 中表示开放世界假设，而不是二进制的真/假标签？
• RQ4 LNNs 是否支持通用的一阶逻辑，并且在与符号系统相比的标准定理证明基准上表现良好？
• RQ5 LNNs 是否能通过调整边界来处理不一致和带噪声的知识，而不是丢弃信息？

主要发现

• LNNs 提供一个可微分的端到端框架，具备神经元–公式的一对一对应关系，能够实现可解释的表示。
• 推理是双向的，且在有限步内收敛，使神经网络架构中具备类似定理证明的推理。
• 真值表示为边界，支持开放世界语义和概率解释，同时保持可解释性。
• 实验表明 LNNs 在某些设置下对 LUBM 查询实现完全召回，与精确的符号系统并列，并且它们能够定位并降低不一致公理的权重。
• 在 TPTP 及相关基准上，LNNs 展现出与若干符号/有噪声规则基线具有竞争力或更优的表现，并在部分 ATP 任务的子集中在几秒内给出证明。
• LNNs 在学习过程中可以显式惩罚矛盾，从而实现尊重逻辑结构的学习并提高可解释性。