[论文解读] Holophrasm: a neural Automated Theorem Prover for higher-order logic

Daniel Whalen|arXiv (Cornell University)|Aug 8, 2016

Natural Language Processing Techniques参考文献 11被引用 24

一句话总结

Holophrasm 是一种用于高阶逻辑的新型神经网络自动定理证明器，采用深度学习与基于树的多臂赌博机搜索算法，在无需人工设计特征的情况下证明了 Metamath 的 set.mm 库中的定理。它通过结合序列到序列模型用于动作枚举、神经网络用于相关性与回报预测，以及受 UCT 启发的搜索算法，在测试定理上实现了 14.3% 的成功率。

ABSTRACT

I propose a system for Automated Theorem Proving in higher order logic using deep learning and eschewing hand-constructed features. Holophrasm exploits the formalism of the Metamath language and explores partial proof trees using a neural-network-augmented bandit algorithm and a sequence-to-sequence model for action enumeration. The system proves 14% of its test theorems from Metamath's set.mm module.

研究动机与目标

• 开发一个完整的、非交互式的高阶逻辑自动定理证明器，避免使用手工构造的特征。
• 探索深度学习是否能够有效建模 Metamath 中结构化、分层的证明树内的证明搜索。
• 通过整合序列到序列模型、神经相关性估计与基于树的多臂赌博机搜索，证明端到端神经方法在自动定理证明中的可行性。
• 在大规模形式化数学语料库（特别是 Metamath 的 set.mm 模块）上评估系统性能与泛化能力。

提出的方法

• 使用神经网络增强的多臂赌博机算法（UCT 的变体）探索 Metamath 高阶逻辑形式系统中的部分证明树。
• 采用序列到序列模型从无限可能的定理与替换中枚举动作。
• 应用相关性网络，基于上下文与表达式相似性，估计某一定理在证明给定目标时的有用性。
• 使用生成网络预测定理中无约束变量的正确替换，结合束搜索以提高准确性。
• 训练回报网络，通过搜索中获得的正负样本，分类判断所提出的证明步骤是否有效。
• 在探索过程中集成树压缩，使动作可拥有多个子树，从而提升搜索效率与覆盖范围。

实验结果

研究问题

• RQ1 基于深度学习的系统是否能在不依赖手工设计特征的情况下，有效探索高阶逻辑中的证明树？
• RQ2 序列到序列模型在自动定理证明中，能在多大程度上生成有效且有用的定理与替换？
• RQ3 神经网络在形式化证明环境中，对潜在证明步骤的相关性与回报估计能力如何？
• RQ4 由神经网络引导的基于树的多臂赌博机算法，是否能在大规模形式化数学语料库中实现具有竞争力的证明搜索性能？
• RQ5 训练一个完整、端到端的神经网络自动定理证明器，并使其在多样化数学领域中具备泛化能力，是否可行？

主要发现

• Holophrasm 在 Metamath 的 set.mm 模块中 2,720 个测试定理中成功证明了 14.3%，在未见过的命题上实现了 14.3% 的成功率。
• 相关性网络在选择相关定理时，实现了 55.3% 的 top-1 准确率、72.8% 的 top-5 准确率与 87.4% 的 top-20 准确率。
• 当束宽为 20 时，生成网络在预测所有无约束变量的正确替换上，准确率达到 57.5%。
• 回报网络在测试样本上的分类准确率达到 77.6%，显著优于基线负样本预测的 62.1%。
• 系统在成功时的中位搜索次数为 17 次，表明其在收敛时具有较高的效率。
• 性能在早期定理上最强，前 457 个测试定理的成功率达到 45.1%，表明系统存在对简单或早期证明的偏向性。