[论文解读] Learning to Prove from Synthetic Theorems
本文提出通过从公理生成的合成定理来训练自动定理证明器，从而避免依赖人工提供的证明数据。该方法通过监督学习方式在合成数据上训练证明器的成本函数，用于饱和式证明搜索，进而在TPTP基准测试中对人类生成的问题展现出强劲性能——在大多数公理集合上优于基于人工数据训练的模型。
A major challenge in applying machine learning to automated theorem proving is the scarcity of training data, which is a key ingredient in training successful deep learning models. To tackle this problem, we propose an approach that relies on training with synthetic theorems, generated from a set of axioms. We show that such theorems can be used to train an automated prover and that the learned prover transfers successfully to human-generated theorems. We demonstrate that a prover trained exclusively on synthetic theorems can solve a substantial fraction of problems in TPTP, a benchmark dataset that is used to compare state-of-the-art heuristic provers. Our approach outperforms a model trained on human-generated problems in most axiom sets, thereby showing the promise of using synthetic data for this task.
研究动机与目标
- 解决自动定理证明（ATP）中训练数据稀缺的问题，这是深度学习应用的主要瓶颈。
- 克服对人工生成定理和证明的依赖，因为这些数据有限且生产成本高昂。
- 开发一种数据高效且可扩展的方法，仅使用公理和合成定理来训练证明器。
- 证明仅在合成数据上训练的证明器能够泛化到真实世界的人类编写的数学问题。
- 在ATP中实现数据丰富的训练范式，类似于计算机视觉和自然语言处理领域所取得的成功。
提出的方法
- 通过将正向推理规则应用于一组公理，生成合成定理，从而产生逻辑上有效的命题。
- 使用一个简单且未经训练的证明器在这些合成定理上生成证明轨迹，为成本函数创建训练数据。
- 训练一个神经网络（MLP或GNN）以预测在饱和式证明搜索过程中推理步骤的有用性。
- 将成本函数学习表述为一个监督任务，使用合成证明数据而非人工证明数据。
- 在饱和式证明器中应用训练好的成本函数，以搜索人类生成的论断的证明。
- 使用归结演算和合取范式（CNF）进行一阶逻辑推理，采用归谬完备的证明搜索策略。
实验结果
研究问题
- RQ1仅在合成定理上训练的定理证明器能否解决真实的人类生成的数学问题？
- RQ2与基于人工提供证明数据的训练相比，使用合成数据训练是否能带来更好的泛化性能？
- RQ3神经网络能否仅通过合成证明轨迹学习到一个有效的推理选择成本函数？
- RQ4在标准ATP基准测试中，基于合成数据训练的证明器与基于人工数据训练的模型相比表现如何？
- RQ5通过合成定理进行数据增强，能否实现自动定理证明中的可扩展、数据丰富的训练？
主要发现
- 仅在合成定理上训练的证明器成功解决了TPTP基准测试中相当大比例的问题，展示了对人类生成问题的强大零样本泛化能力。
- 在TPTP基准测试的大多数公理集合中，基于合成数据训练的证明器表现优于基于人工数据训练的模型。
- 所学习到的成本函数减少了推理过程中生成的子句数量，表明其效率和可扩展性得到提升。
- 该方法在未接触任何人类定理或证明的情况下，实现了TPTP上的最先进性能，验证了合成数据的有效性。
- 该方法使ATP实现了数据丰富的训练，推动该领域从数据稀缺转向数据丰富的训练范式，与视觉和自然语言处理领域的成功类似。
- 结果表明，合成数据可作为人类标注证明数据在定理证明中的可行且有效的替代方案。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。