[论文解读] Property Invariant Embedding for Automated Reasoning

Miroslav Olšák, Cezary Kaliszyk+1 more|arXiv (Cornell University)|Nov 27, 2019

Logic, programming, and type systems被引用 18

一句话总结

本文提出了一种新型图神经网络架构——属性不变嵌入（Property Invariant Embedding, PIE），该架构能够对符号重命名、否定以及子句/文字顺序变化保持不变的数学公式进行编码。通过将符号表示为抽象节点并使用专门的消息传递机制，PIE 在符号猜测任务中达到 65% 的准确率，并在先前方法的基础上将学习引导型定理证明的性能提升了 45.6%。

ABSTRACT

Automated reasoning and theorem proving have recently become major challenges for machine learning. In other domains, representations that are able to abstract over unimportant transformations, such as abstraction over translations and rotations in vision, are becoming more common. Standard methods of embedding mathematical formulas for learning theorem proving are however yet unable to handle many important transformations. In particular, embedding previously unseen labels, that often arise in definitional encodings and in Skolemization, has been very weak so far. Similar problems appear when transferring knowledge between known symbols. We propose a novel encoding of formulas that extends existing graph neural network models. This encoding represents symbols only by nodes in the graph, without giving the network any knowledge of the original labels. We provide additional links between such nodes that allow the network to recover the meaning and therefore correctly embed such nodes irrespective of the given labels. We test the proposed encoding in an automated theorem prover based on the tableaux connection calculus, and show that it improves on the best characterizations used so far. The encoding is further evaluated on the premise selection task and a newly introduced symbol guessing task, and shown to correctly predict 65% of the symbol names.

研究动机与目标

• 解决现有神经嵌入在自动化定理证明中处理符号重命名和斯科伦化时的局限性。
• 开发一种在一阶逻辑中对符号名称更改、否定以及子句顺序保持不变的神经网络架构。
• 实现在具有先前未见过标签的符号之间的迁移学习与知识迁移。
• 改进形式数学数据集中的前提选择和符号猜测任务。

提出的方法

• 从子句构建超图，其中子项、文字和符号作为节点，边表示句法关系。
• 将函数符号和谓词符号表示为不依赖其原始标签的抽象节点。
• 在节点之间引入额外连接，使网络即使在符号名称改变的情况下也能恢复语义含义。
• 在超图上使用保持对否定和符号重命名不变的消息传递机制。
• 训练网络将子句、文字、子项和符号嵌入到对结构变换保持不变的实值向量中。
• 将模型应用于引导 leanCoP、前提选择以及形式逻辑数据集上的新符号猜测任务。

实验结果

研究问题

• RQ1 神经网络能否在保持一阶逻辑中语义含义的同时，学习对符号重命名保持不变的嵌入？
• RQ2 此类模型在斯科伦化和子句化过程中引入的未见过符号上泛化能力如何？
• RQ3 对否定和子句顺序的不变性在自动化定理证明中的性能提升程度如何？
• RQ4 模型能否在不依赖符号名称的情况下有效执行前提选择和符号猜测任务？
• RQ5 不变嵌入是否能带来可测量的学习引导型定理证明性能提升？

主要发现

• 所提出的属性不变嵌入（PIE）模型在新引入的符号猜测任务中实现了 65% 的符号名称预测准确率。
• 与 XGBoost 引导的基线方法相比，PIE 在首次学习迭代中使 leanCoP 的学习引导型定理证明性能在测试集上提升了 45.6%。
• 该模型在前提选择任务上优于先前方法，展现出在形式数学语料库中的强大泛化能力。
• PIE 在符号重命名、否定以及子句/文字顺序变换下保持不变，支持鲁棒的迁移学习。
• 该架构支持新应用：通过检测数学理论之间的结构对齐来生成猜想。
• 该模型在真实世界 ATP 数据集中表现优异，其中 40% 的符号为问题特异性，证实了其实际应用价值。