[论文解读] Draft, Sketch, and Prove: Guiding Formal Theorem Provers with Informal Proofs

Albert Q. Jiang, Sean Welleck+7 more|arXiv (Cornell University)|Oct 21, 2022

Logic, programming, and type systems被引用 25

一句话总结

DSP 方法将非正式证明转换为正式证明草图，以引导自动证明器，在 Isabelle 的 miniF2F 证明成功率从基线约 20% 显著提升到大约 39%（人工证明）或在语言模型证明下达到 38-39%。

ABSTRACT

The formalization of existing mathematical proofs is a notoriously difficult process. Despite decades of research on automation and proof assistants, writing formal proofs remains arduous and only accessible to a few experts. While previous studies to automate formalization focused on powerful search algorithms, no attempts were made to take advantage of available informal proofs. In this work, we introduce Draft, Sketch, and Prove (DSP), a method that maps informal proofs to formal proof sketches, and uses the sketches to guide an automated prover by directing its search to easier sub-problems. We investigate two relevant setups where informal proofs are either written by humans or generated by a language model. Our experiments and ablation studies show that large language models are able to produce well-structured formal sketches that follow the same reasoning steps as the informal proofs. Guiding an automated prover with these sketches enhances its performance from 20.9% to 39.3% on a collection of mathematical competition problems.

研究动机与目标

• 通过利用丰富的非正式证明来解决形式证明的稀缺性。
• 将非正式证明转换为正式证明草图以引导自动化证明。
• 在 Isabelle 的 miniF2F 上，用人工撰写与语言模型生成的证明来评估 DSP。

提出的方法

• 引入由三阶段组成的 DSP：起草非正式证明、通过少-shot 自动形式化将其映射为正式证明草图、并用自动证明器填补空白。
• 使用大模型（高达 175B 参数）从非正式证明生成正式草图。
• 将非正式证明（人工或 LM）与正式草图配对，并应用现成的证明器来解决未解决的猜想。
• 在 Isabelle 中对 miniF2F 问题进行实验，使用 Sledgehammer 搭配启发式作为基线，并与 Thor 基线进行比较。
• 进行消融研究以评估行内注释、起草非正式证明以及自动证明器的影响。
• 分析模型变体（Codex、各尺度的 Minerva）以及人工证明，以评估有效性和记忆问题。

实验结果

研究问题

• RQ1 非正式证明是否能有效转化为引导自动证明的正式证明草图？
• RQ2 在 Isabelle 的形式化成功中，使用人工证明与语言模型的非正式证明有何影响？
• RQ3 消融研究（行内注释、起草、自动证明器）如何影响 DSP 的性能和可扩展性？

主要发现

• DSP 将自动证明器在 miniF2F 上解决的问题比例从 20.9% 提升到 38.9–39.3%，具体取决于证明来源和设置。
• 人工非正式证明在 miniF2F 测试中达到 39.3%；语言模型证明在测试集上，540B Minerva 可达到 38.9%，62B Minerva 可达 37.7%。
• Minerva 62B 与 540B 在引导证明器方面几乎与人类相当，优于较小的 LM 基线和某些早期神经方法在 Isabelle 上的表现。
• 消融研究表明，在提示中的行内非正式讨论注释可提升成功率（例如验证集 +4.9%，测试集 +2.8%）；移除非正式草稿会降低性能；自动证明器至关重要（没有它们损失约 9–10%）。
• DSP 能在 miniF2F 中用人工证明解决 200/488 道题，在某些 LM 配置下约解决 199 道题。
• 该方法对嘈杂的非正式证明具有鲁棒性，某些语言模型证明能够纠正或利用非正式推理中的错误步骤。