[论文解读] Learning-Assisted Automated Reasoning with Flyspeck

Cezary Kaliszyk, Josef Urban|arXiv (Cornell University)|Nov 29, 2012

Mathematics, Computing, and Information Processing被引用 15

一句话总结

本文提出了一种学习辅助的自动化推理系统，该系统将Flyspeck形式化数学库与外部自动化定理证明器（ATPs）以及基于Flyspeck证明训练的机器学习前提选择模型相集成。通过将HOL Light逻辑翻译为ATP兼容的格式，并使用学习到的顾问模块，该系统在14核CPU的工作站上，30秒内自动证明了14,185个定理中的39%，标志着大规模理论自动化推理的重大进展。

ABSTRACT

The considerable mathematical knowledge encoded by the Flyspeck project is combined with external automated theorem provers (ATPs) and machine-learning premise selection methods trained on the proofs, producing an AI system capable of answering a wide range of mathematical queries automatically. The performance of this architecture is evaluated in a bootstrapping scenario emulating the development of Flyspeck from axioms to the last theorem, each time using only the previous theorems and proofs. It is shown that 39% of the 14185 theorems could be proved in a push-button mode (without any high-level advice and user interaction) in 30 seconds of real time on a fourteen-CPU workstation. The necessary work involves: (i) an implementation of sound translations of the HOL Light logic to ATP formalisms: untyped first-order, polymorphic typed first-order, and typed higher-order, (ii) export of the dependency information from HOL Light and ATP proofs for the machine learners, and (iii) choice of suitable representations and methods for learning from previous proofs, and their integration as advisors with HOL Light. This work is described and discussed here, and an initial analysis of the body of proofs that were found fully automatically is provided.

研究动机与目标

• 通过外部ATPs和机器学习，实现在大型形式化Flyspeck库中数学定理的全自动证明。
• 通过将HOL Light的高阶逻辑与一阶ATPs进行可靠、无损的翻译，转换为一阶和类型化格式，实现二者之间的桥梁作用。
• 基于Flyspeck证明依赖关系训练前提选择模型，以指导ATPs使用相关知识。
• 在自举（bootstrapping）场景中评估系统，模拟Flyspeck从公理到最终定理的增量式开发过程。
• 展示可扩展的、由人工智能增强的形式化数学的可行性，且人类干预极少。

提出的方法

• 将HOL Light证明翻译为无类型一阶、多态类型一阶和类型化高阶ATP格式，以实现互操作性。
• 从HOL Light和ATPs中导出依赖关系和证明信息，用于训练前提选择的机器学习模型。
• 设计并集成基于学习的顾问模块，根据历史证明模式向ATPs建议相关前提。
• 使用435种不同的ATP和前提选择器组合的混合配置，以在大规模评估中优化性能。
• 采用自举式评估协议，其中每个定理仅使用先前已证明的定理及其依赖项进行证明。
• 应用策略调度和优化的ATP配置（例如E和Vampire），以提高证明搜索效率。

实验结果

研究问题

• RQ1 学习辅助系统是否能在无须人工干预的情况下，自动证明Flyspeck库中相当大比例的定理？
• RQ2 机器学习在从大型形式化库中为ATPs选择相关前提方面有多高效？
• RQ3 ATP与学习方法的结合在现实世界中大规模理论形式化（如Flyspeck）中的表现如何？
• RQ4 在自举场景中，系统的表现如何扩展，即仅能使用先前的结果？
• RQ5 此类系统能否作为形式化数学开发的实际、可扩展的助手？

主要发现

• 该系统在30秒内以完全自动化、一键式模式，成功证明了Flyspeck库中14,185个定理中的39%。
• 该性能是通过435种不同ATP和前提选择器配置的组合实现的，表明方法多样性具有重要价值。
• 39%的成功率超过以往在较小基准上的结果（例如，在MPTP2078上30秒限制下为24.1%），表明系统具备可扩展性。
• 该系统显著优于最佳单一方法，表明集成组合在大规模理论推理中至关重要。
• 将学习到的顾问与ATPs结合，显著提升了证明自动化水平，降低了对用户专业知识的依赖。
• 结果表明，人工智能增强的形式化数学可朝着众包化、世界知识规模的形式化方向实现可扩展发展。