[论文解读] End-to-End Differentiable Proving

Tim Rocktäschel, Sebastian Riedel|arXiv (Cornell University)|May 31, 2017

Topic Modeling被引用 72

一句话总结

本文提出神经定理推理器（NTPs），一种可微分的神经网络架构，通过将符号后向链式推理与非符号向量表示相结合，实现在知识库中的端到端学习。通过用向量嵌入上的可微径向基函数核替代符号统一操作，NTPs 能够学习推断事实、归纳可解释的一阶逻辑规则，并在四个基准知识库中的三个上超越 ComplEx，同时支持多跳推理和基于梯度的训练。

ABSTRACT

We introduce neural networks for end-to-end differentiable proving of queries to knowledge bases by operating on dense vector representations of symbols. These neural networks are constructed recursively by taking inspiration from the backward chaining algorithm as used in Prolog. Specifically, we replace symbolic unification with a differentiable computation on vector representations of symbols using a radial basis function kernel, thereby combining symbolic reasoning with learning subsymbolic vector representations. By using gradient descent, the resulting neural network can be trained to infer facts from a given incomplete knowledge base. It learns to (i) place representations of similar symbols in close proximity in a vector space, (ii) make use of such similarities to prove queries, (iii) induce logical rules, and (iv) use provided and induced logical rules for multi-hop reasoning. We demonstrate that this architecture outperforms ComplEx, a state-of-the-art neural link prediction model, on three out of four benchmark knowledge bases while at the same time inducing interpretable function-free first-order logic rules.

研究动机与目标

• 通过在知识库中实现端到端可微分证明，弥合符号推理与非符号学习之间的鸿沟。
• 解决神经链接预测模型在处理复杂多跳推理模式时的局限性。
• 结合符号定理推理器的可解释性与分布式向量表示的泛化能力。
• 通过梯度下降同时学习符号的向量表示和无函数的一阶逻辑规则。
• 在可微分推理框架中集成领域特定规则和规则模板。

提出的方法

• NTPs 以 Prolog 的后向链式算法为蓝图递归构建，将符号统一替换为向量表示上的可微操作。
• 径向基函数核用于计算符号向量嵌入之间的相似度，实现可微分统一。
• 证明成功得分对符号嵌入和规则参数可微，支持通过梯度下降进行端到端训练。
• 与神经链接预测模型（ComplEx）联合训练，作为辅助损失，以提升表示质量和性能。
• 采用批量证明和近似梯度计算以扩展训练过程。
• 从学习到的参数中解码出规则，并验证其可解释性和逻辑一致性。

实验结果

研究问题

• RQ1 是否可以仅通过向量表示上的可微分操作，训练神经网络在知识库中执行多跳推理？
• RQ2 此类模型能否从未完全的知识库中学习归纳出可解释的、无函数的一阶逻辑规则？
• RQ3 与最先进的神经链接预测模型（如 ComplEx）相比，端到端可微分证明在推理性能上表现如何？
• RQ4 来自神经链接预测的辅助损失是否能提升可微分证明器中非符号表示的质量？
• RQ5 所学规则在语义相似符号之间具有多大程度的泛化能力，并能否支持推理中的迁移学习？

主要发现

• NTPs 在四个基准知识库中的三个——Countries S3、Nations 和 UMLS——上优于 ComplEx，且在 Kinship 上达到相当或更优的性能。
• NTPλ 变体通过与 ComplEx 联合训练作为辅助损失，实现了最高性能，在所有 Countries 任务中 AUC-PR 的提升具有统计显著性（p < 0.0001）。
• 该模型成功归纳出可解释、人类可读的一阶逻辑规则，例如在 UMLS 上的传递性规则和在 Countries 上的任务特定规则。
• 归纳出的规则展现出泛化能力：单条规则可应用于涉及语义相似符号的多个查询。
• 可微分统一机制使得符号嵌入和逻辑规则参数均可通过梯度优化。
• 该方法通过递归应用规则组合证明，实现多跳推理，且证明路径可明确追踪并具有可解释性。