[论文解读] Automated proof synthesis for propositional logic with deep neural networks

Taro Sekiyama, Kohei Suenaga|arXiv (Cornell University)|May 30, 2018

Natural Language Processing Techniques参考文献 33被引用 5

一句话总结

本文提出了一种名为命题到证明模型的深度神经网络，通过在每个证明步骤中建模推理规则的可能性，以自动化命题逻辑中的证明合成。基于一个按可能性对证明候选进行排序的统计框架，该模型在预测正确推理规则方面达到了96.79%的准确率，显著优于先前的神经方法。

ABSTRACT

This work explores the application of deep learning, a machine learning technique that uses deep neural networks (DNN) in its core, to an automated theorem proving (ATP) problem. To this end, we construct a statistical model which quantifies the likelihood that a proof is indeed a correct one of a given proposition. Based on this model, we give a proof-synthesis procedure that searches for a proof in the order of the likelihood. This procedure uses an estimator of the likelihood of an inference rule being applied at each step of a proof. As an implementation of the estimator, we propose a proposition-to-proof architecture, which is a DNN tailored to the automated proof synthesis problem. To empirically demonstrate its usefulness, we apply our model to synthesize proofs of propositional logic. We train the proposition-to-proof model using a training dataset of proposition-proof pairs. The evaluation against a benchmark set shows the very high accuracy and an improvement to the recent work of neural proof synthesis.

研究动机与目标

• 开发一种用于命题逻辑中自动化证明合成（APS）的深度学习方法，超越符号方法。
• 使用概率推理建模部分构建的证明通向给定命题的正确证明的可能性。
• 设计一种专门的深度神经网络架构——命题到证明模型，以估计每个证明步骤中推理规则的可能性。
• 在命题-证明对的基准数据集上实证评估模型的性能。
• 证明基于可能性的证明搜索策略，由DNN引导，优于端到端神经机器翻译方法在APS中的表现。

提出的方法

• 使用统计模型形式化APS问题，基于每一步推理规则可能性的乘积，量化证明正确的可能性。
• 提出一种证明合成过程，按照可能性递减的顺序探索证明候选，由每个推理规则的估计概率引导。
• 引入命题到证明模型，一种深度神经网络，编码逻辑命题的语法树，并解码以预测下一步推理规则。
• 采用编码器-解码器架构，结合树结构卷积和聚合层，以有效处理逻辑公式和证明义务。
• 使用监督学习在大规模自动生成的命题-证明对数据集上训练模型。
• 在证明合成过程中，使用基于DNN的似然估计器引导束搜索或贪心搜索策略。

实验结果

研究问题

• RQ1 深度神经网络能否有效用于估计自动化证明合成中推理规则的可能性？
• RQ2 由学习模型引导的基于可能性的证明搜索策略是否优于端到端神经机器翻译方法在APS中的表现？
• RQ3 DNN模型在预测命题逻辑证明中正确下一步推理步骤方面的准确率能达到多高？
• RQ4 命题到证明模型架构与现有神经架构相比，在处理结构化证明合成任务时表现如何？
• RQ5 使用统计模型对证明候选进行排序，对证明合成的效率和成功率有何影响？

主要发现

• 命题到证明模型在识别每个证明构建步骤中应应用的正确推理规则方面，达到了96.79%的预测准确率。
• 基于可能性的证明合成过程在短时间内成功为大量命题逻辑公式生成了正确证明。
• 该模型显著优于先前的神经方法，例如普通的神经机器翻译，后者在同一基准测试中仅达到约50%的成功率。
• 树结构卷积和聚合层的使用，实现了对逻辑公式结构和证明义务的有效编码。
• 统计模型通过优先选择高可能性证明路径，显著减少了搜索空间，从而实现了高效的证明搜索。
• 该方法证明了将深度学习与形式化推理相结合，用于命题逻辑中的自动化定理证明的可行性。