[论文解读] HOL(y)Hammer: Online ATP Service for HOL Light

Cezary Kaliszyk, Josef Urban|arXiv (Cornell University)|Sep 19, 2013

Logic, programming, and type systems参考文献 24被引用 4

一句话总结

HOL(y)Hammer 是一个在线 AI/ATP 服务，通过结合前提选择、翻译为 ATP 格式以及并行执行 7 种 AI/ATP 组合与 4 种决策程序，实现在 HOL Light 中的自动化定理证明。该服务在 14 核 CPU 工作站上 30 秒内对 Flyspeck 定理的证明成功率达到 47%，在线版本现运行于 48 核 CPU 服务器上，并支持本地安装以供私有使用。

ABSTRACT

HOL(y)Hammer is an online AI/ATP service for formal (computer-understandable) mathematics encoded in the HOL Light system. The service allows its users to upload and automatically process an arbitrary formal development (project) based on HOL Light, and to attack arbitrary conjectures that use the concepts defined in some of the uploaded projects. For that, the service uses several automated reasoning systems combined with several premise selection methods trained on all the project proofs. The projects that are readily available on the server for such query answering include the recent versions of the Flyspeck, Multivariate Analysis and Complex Analysis libraries. The service runs on a 48-CPU server, currently employing in parallel for each task 7 AI/ATP combinations and 4 decision procedures that contribute to its overall performance. The system is also available for local installation by interested users, who can customize it for their own proof development. An Emacs interface allowing parallel asynchronous queries to the service is also provided. The overall structure of the service is outlined, problems that arise and their solutions are discussed, and an initial account of using the system is given.

研究动机与目标

• 为 HOL Light 系统中的形式化数学提供一个在线、可扩展且用户友好的 AI/ATP 服务。
• 通过利用现有证明训练的前提出选和 ATP，自动化 HOL Light 开发中猜想的证明。
• 支持公共在线访问以及本地安装，以满足私有、离线或高性能计算环境下的使用需求。
• 通过 Emacs、网页和命令行接口，支持与交互式定理证明工作流的集成。
• 支持不断演进的代码库和未来扩展，包括版本控制以及对私有开发的安全处理。

提出的方法

• 该系统将 HOL Light 的形式化内容转换为 ATP 兼容的格式，包括无类型一阶逻辑、多态类型一阶逻辑以及类型高阶逻辑。
• 采用多种基于现有代码库（如 Flyspeck、Multivariate Analysis 和 Complex Analysis）中证明训练的前提出选技术。
• 对于每个查询，服务并行运行 7 种不同的 AI/ATP 组合与 4 种决策程序，以最大化覆盖范围与性能。
• 通过内容编码与检查点机制，高效复用跨项目版本的先前计算知识。
• 支持通过网页界面的在线访问以及可自定义用户特定开发训练的本地安装。
• 系统利用策略调度以及从先前成功/失败中学习，以随时间推移持续提升 ATP 性能。

实验结果

研究问题

• RQ1 一个可扩展的在线 AI/ATP 服务能否显著减少在大型 HOL Light 开发中手动选择公理和构建证明的需求？
• RQ2 前提出选、翻译为 ATP 格式以及并行执行多个 AI/ATP 系统的组合，在证明形式化定理方面有多高效？
• RQ3 在 Flyspeck 等大规模语料库上训练的 AI/ATP 方法，能在多大程度上泛化到相关数学代码库中新猜想的证明？
• RQ4 在支持多个代码库和版本并实现低延迟响应时，AI/ATP 服务的扩展会带来哪些架构与性能权衡？
• RQ5 当允许用户在共享服务上上传和更新私有形式化开发时，如何确保隐私与安全？

主要发现

• 该系统在 14 核 CPU 工作站上，使用最强的 AI/ATP 方法组合，在 30 秒内自动证明 Flyspeck 定理的成功率达到 47%。
• 在线版本运行于 48 核 CPU 服务器上，通过并行执行 7 种组合与 4 种决策程序，每个查询最多可执行 70 次不同的 AI/ATP 尝试。
• 该服务支持公共在线访问与本地安装，支持离线使用和私有开发，并可自定义训练。
• 内容编码与检查点机制使得先前计算的证明知识得以高效复用，减少了项目更新过程中的冗余计算。
• 系统表明，策略调度以及从先前结果中学习能显著提升 ATP 性能，尤其在更高的时间限制下表现更优。
• 该方法在与非形式化数学文本集成方面展现出强大潜力，为未来系统实现科学自然语言的深度语义解析铺平了道路。