[论文解读] HolStep: A Machine Learning Dataset for Higher-order Logic Theorem Proving

Cezary Kaliszyk, François Chollet+1 more|arXiv (Cornell University)|Mar 1, 2017

Logic, programming, and type systems参考文献 22被引用 30

一句话总结

本文介绍了HolStep，一个大规模的机器学习数据集，包含来自形式化数学的220万个高阶逻辑（HOL）证明步骤，涵盖开普勒猜想和HOL Light的多元分析库。该数据集使模型能够训练以分类证明步骤为有用或无关，基线模型在无猜想上下文的情况下预测有用性的准确率最高达83%，证明了机器学习在超越简单模式匹配的定理证明中的可行性。

ABSTRACT

Large computer-understandable proofs consist of millions of intermediate logical steps. The vast majority of such steps originate from manually selected and manually guided heuristics applied to intermediate goals. So far, machine learning has generally not been used to filter or generate these steps. In this paper, we introduce a new dataset based on Higher-Order Logic (HOL) proofs, for the purpose of developing new machine learning-based theorem-proving strategies. We make this dataset publicly available under the BSD license. We propose various machine learning tasks that can be performed on this dataset, and discuss their significance for theorem proving. We also benchmark a set of simple baseline machine learning models suited for the tasks (including logistic regression, convolutional neural networks and recurrent neural networks). The results of our baseline models show the promise of applying machine learning to HOL theorem proving.

研究动机与目标

• 开发一个大规模、公开可用的高阶逻辑证明步骤数据集，以促进自动化定理证明中的机器学习研究。
• 解决在交互式定理证明系统中，机器学习在过滤或生成中间证明步骤方面应用不足的问题。
• 为证明步骤有用性分类任务建立基线模型，重点研究字符级和标记级编码方式的影响。
• 探索深度学习在提升HOL基础定理证明中搜索效率与引导能力方面的潜力。

提出的方法

• 该数据集源自HOL Light中的11,400个证明以及开普勒猜想的形式化证明，包含2,013,046个训练样本和196,030个测试样本。
• 每个证明步骤根据其在最终证明中的作用被标记为有用或无用，包含人工编写和自动化的步骤。
• 输入表示包括原始字符序列和标记化语句，以评估编码敏感性。
• 训练了三种基线模型：逻辑回归、一维卷积神经网络（CNN）以及CNN-LSTM架构，用于序列建模。
• 在无条件（无猜想）和猜想条件分类任务上评估模型，以分析上下文利用情况。
• 通过准确率衡量性能，并通过输入编码和条件设置的消融研究分析模型行为。

实验结果

研究问题

• RQ1 机器学习模型能否在高阶逻辑定理证明中有效分类证明步骤为有用或无用？
• RQ2 不同的输入编码方式（字符与标记）如何影响证明步骤有用性预测的模型性能？
• RQ3 模型在多大程度上能够利用猜想上下文来提升有用性分类性能？
• RQ4 深度学习模型能否捕捉证明语句中超越简单n-gram特征的有意义模式？
• RQ5 为何在存在猜想条件的情况下，某些模型架构无法超越简单模型？

主要发现

• 无条件的一维CNN模型在分类证明步骤有用性方面达到82–83%的准确率，表明字符级或标记级n-gram模式具有高度信息量。
• 逻辑回归模型的性能与深度学习模型相当，表明简单模式匹配在此任务中已十分有效。
• 引入猜想上下文并未提升模型性能，反而导致更快收敛和更早过拟合，表明上下文信息未被有效利用。
• CNN-LSTM模型未能超越一维CNN模型，表明模型未能有意义地利用输入序列中的顺序信息。
• 标记编码虽缩短了序列长度，但可能削弱循环层的优势，导致CNN-LSTM模型性能显著下降。