[论文解读] Learning Reasoning Strategies in End-to-End Differentiable Proving

Pasquale Minervini, Sebastian Riedel+3 more|arXiv (Cornell University)|Jul 13, 2020

Intelligent Tutoring Systems and Adaptive Learning被引用 30

一句话总结

本论文介绍 Conditional Theorem Provers (CTPs)，对 Neural Theorem Provers (NTPs) 的扩展，学习自适应、可微分的规则选择，以实现可扩展、可解释的神经符号推理，在 CLUTRR 上达到最新结果，并在链接预测性能方面具竞争力。

ABSTRACT

Attempts to render deep learning models interpretable, data-efficient, and robust have seen some success through hybridisation with rule-based systems, for example, in Neural Theorem Provers (NTPs). These neuro-symbolic models can induce interpretable rules and learn representations from data via back-propagation, while providing logical explanations for their predictions. However, they are restricted by their computational complexity, as they need to consider all possible proof paths for explaining a goal, thus rendering them unfit for large-scale applications. We present Conditional Theorem Provers (CTPs), an extension to NTPs that learns an optimal rule selection strategy via gradient-based optimisation. We show that CTPs are scalable and yield state-of-the-art results on the CLUTRR dataset, which tests systematic generalisation of neural models by learning to reason over smaller graphs and evaluating on larger ones. Finally, CTPs show better link prediction results on standard benchmarks in comparison with other neural-symbolic models, while being explainable. All source code and datasets are available online, at https://github.com/uclnlp/ctp.

研究动机与目标

• 解决 Neural Theorem Provers (NTPs) 在由于穷举规则考虑导致的可扩展性问题。
• 开发一个可微分的、以目标为条件的规则选择机制，以裁剪搜索空间。
• 在 CLUTRR 上取得最先进的结果，测试基于图的推理任务中的系统性泛化。
• 在保持可解释性的同时，提升标准链接预测基准上的神经符号推理性能。

提出的方法

• 扩展 NTPs，加入一个 select 模块，生成用于证明给定目标的目标条件下的小型规则集合。
• 将谓词和常量表示为连续嵌入，并使用可微分的相似度度量进行统一。
• 定义 select(G) 以产生一个头部和身体，条件化于目标，从而实现端到端的可微分性。
• 引入神经目标改写和基于记忆的改写选项，以生成或检索规则。
• 引入对谓词的注意力先验，通过对谓词嵌入的 softmax 注意力，偏好在知识库中存在的关系。
• 提供一个可微分的记忆替代方案，用于存储规则并通过对记忆的注意力进行索引，从而实现可检查的推理路径。

实验结果

研究问题

• RQ1 一个可微分、以目标为条件的选择器是否能减少需要考虑的所有知识库规则数量并提高可扩展性？
• RQ2 学习自适应规则选择是否能提升对 CLUTRR 这类推理任务的系统性泛化？
• RQ3 Conditional Theorem Provers (CTPs) 是否在标准基准上比传统的 NTPs 表现更好？
• RQ4 基于记忆或注意力引导的目标改写是否能提供可解释且具有竞争力的推理？

主要发现

• CTPs 学会自适应规则选择，并能扩展到 NTPs 难以处理的更大数据集。
• CTPs 在 CLUTRR 上取得最先进的结果，展示了改进的系统性泛化。
• CTPs 在标准基准上的链接预测结果优于其他神经符号模型，同时保持可解释性。
• 该方法支持端到端可微分训练，能够对规则选择与推理进行联合优化。
• CTPs 的代码和数据集已在线提供，促进可重复性。