[论文解读] Automated Theorem Proving in Intuitionistic Propositional Logic by Deep Reinforcement Learning

Mitsuru Kusumoto, Keisuke Yahata+1 more|arXiv (Cornell University)|Nov 2, 2018

Natural Language Processing Techniques参考文献 23被引用 8

一句话总结

该论文提出了一种基于深度强化学习的自动定理证明方法，用于直觉主义命题逻辑，采用图神经网络（GNNs）结合一种新颖的紧凑图表示方法与迭代式数据增强技术，以训练价值函数。该方法在10秒内解决了84%的基准定理，超过Coq的tauto策略（52%），证明了尽管训练数据有限，神经网络在自动定理证明（ATP）中的有效性。

ABSTRACT

The problem-solving in automated theorem proving (ATP) can be interpreted as a search problem where the prover constructs a proof tree step by step. In this paper, we propose a deep reinforcement learning algorithm for proof search in intuitionistic propositional logic. The most significant challenge in the application of deep learning to the ATP is the absence of large, public theorem database. We, however, overcame this issue by applying a novel data augmentation procedure at each iteration of the reinforcement learning. We also improve the efficiency of the algorithm by representing the syntactic structure of formulas by a novel compact graph representation. Using the large volume of augmented data, we train highly accurate graph neural networks that approximate the value function for the set of the syntactic structures of formulas. Our method is also cost-efficient in terms of computational time. We will show that our prover outperforms Coq's $ exttt{tauto}$ tactic, a prover based on human-engineered heuristics. Within the specified time limit, our prover solved 84% of the theorems in a benchmark library, while $ exttt{tauto}$ was able to solve only 52%.

研究动机与目标

• 为直觉主义命题逻辑（IPL）的基于神经网络的自动定理证明（ATP）中大规模训练数据稀缺的问题提供解决方案。
• 通过强化学习学习精确的价值函数，即使初始定理库规模较小，也能提升证明搜索效率。
• 开发一种紧凑且语法感知的图表示方法，用于逻辑公式，以增强GNN的性能。
• 证明深度强化学习结合数据增强可在证明覆盖率方面超越基于启发式的证明器（如Coq的tauto）。

提出的方法

• 将自然演绎系统中的证明搜索问题建模为在证明树离散状态空间上的强化学习问题。
• 提出一种新颖的紧凑图表示方法，编码逻辑公式的语法结构，使GNN能够捕捉与变量名称无关的结构不变性。
• 采用近似策略迭代（API）框架，通过自生成的训练数据迭代优化证明搜索策略。
• 设计一种数据增强程序，在每次API迭代中，从少量初始定理库生成数百万个合成训练样本，实现强大的泛化能力。
• 使用图神经网络（GNNs）训练价值函数近似器，以估计给定证明状态距离解的接近程度。
• 推理阶段采用贪心深度优先搜索策略部署策略，无需回溯，以确保效率。

实验结果

研究问题

• RQ1 在初始训练数据有限的情况下，结合数据增强的深度强化学习能否有效训练神经网络策略，用于直觉主义命题逻辑的ATP？
• RQ2 与基于启发式的证明器（如Coq的tauto）相比，基于GNN的价值函数在证明覆盖率和效率方面表现如何？
• RQ3 数据增强在强化学习用于ATP时，能在多大程度上防止策略退化并提升泛化能力？
• RQ4 即使每步计算成本更高，学习到的神经网络策略是否仍能超越手工设计的启发式规则进行证明搜索？
• RQ5 所提出的图表示方法是否能增强GNN在复杂逻辑公式之间泛化的能力？

主要发现

• 所提出的证明器在10秒时间限制内解决了基准库中84%的定理，显著优于Coq的tauto策略（仅解决52%）。
• 经过四轮近似策略迭代与数据增强后，策略在训练集上实现了86%的证明覆盖率，表明其具有强大的收敛性与泛化能力。
• 若无数据增强，策略在第四轮迭代时迅速退化，仅能解决14%的定理，凸显了数据增强的关键作用。
• 基于GNN的评估函数在准确率上优于其他网络架构，尽管每步推理成本更高，但仍能实现更有效的证明搜索。
• 在所有时间约束下，该方法比基线模型多解决了超过25%的定理，表明其具有更优的决策效率。
• 该方法仅使用数千个初始定理即实现了高性能，表明数据增强可使模型从少量公开定理库中有效学习。