[论文解读] Learning to Prove with Tactics

Thibault Gauthier, Cezary Kaliszyk+3 more|arXiv (Cornell University)|Apr 2, 2018

Logic, programming, and type systems参考文献 17被引用 11

一句话总结

TacticToe 是一个基于 HOL4 的自动化战术证明器，通过从人类证明中学习来指导蒙特卡洛树搜索，以选择有效的战术，60 秒内成功证明 HOL4 标准库中 66.4% 的定理——显著优于 E 证明器的 34.5%，当与 E 证明器结合时，成功率提升至 69.0%。

ABSTRACT

We implement a automated tactical prover TacticToe on top of the HOL4 interactive theorem prover. TacticToe learns from human proofs which mathematical technique is suitable in each proof situation. This knowledge is then used in a Monte Carlo tree search algorithm to explore promising tactic-level proof paths. On a single CPU, with a time limit of 60 seconds, TacticToe proves 66.4 percent of the 7164 theorems in HOL4's standard library, whereas E prover with auto-schedule solves 34.5 percent. The success rate rises to 69.0 percent by combining the results of TacticToe and E prover.

研究动机与目标

• 开发一种能够从人类证明策略中学习的自动化证明器，以改进交互式定理证明中的战术选择。
• 通过利用人类构建的证明中学习到的知识，解决在复杂证明搜索空间中选择有效证明战术的挑战。
• 通过将学习到的战术偏好整合到搜索算法中，提升 HOL4 中自动化定理证明的性能。

提出的方法

• 在 HOL4 交互式证明器之上实现 TacticToe 作为战术型证明器。
• 从人类构建的证明中提取战术偏好，用于训练指导证明搜索的策略网络。
• 使用蒙特卡洛树搜索（MCTS）基于学习到的偏好，探索有希望的战术级证明路径。
• 对 HOL4 标准库中的每个定理实施时间限制为 60 秒的搜索，以评估性能。
• 通过自动调度将 TacticToe 与 E 证明器结合，以提高整体成功率。

实验结果

研究问题

• RQ1 证明器能否从人类证明中学习到有效的战术选择策略，以改进 HOL4 中的自动化证明搜索？
• RQ2 与基线系统相比，从人类证明模式中学习如何影响自动化定理证明的成功率？
• RQ3 由学习到的策略引导的蒙特卡洛树搜索在多大程度上能超越传统的自动化证明器（如 E）？

主要发现

• TacticToe 在 60 秒时间限制内成功证明了 HOL4 标准库中 7,164 个定理中的 66.4%。
• E 证明器在相同基准测试中通过自动调度实现 34.5% 的成功率，表明存在显著的性能差距。
• 将 TacticToe 与 E 证明器结合后，整体成功率提升至 69.0%。
• 将学习到的战术偏好集成到 MCTS 中，能够更有效地探索证明搜索空间。
• 结果表明，从人类证明中学习能显著提升真实世界定理证明环境中自动化证明的性能。