[論文レビュー] Draft, Sketch, and Prove: Guiding Formal Theorem Provers with Informal Proofs

Albert Q. Jiang, Sean Welleck+7 more|arXiv (Cornell University)|Oct 21, 2022

Logic, programming, and type systems被引用数 25

ひとこと要約

DSP法は informal proofs を formal proof sketches に変換して自動証明器を導くことで、Isabelle における miniF2F の証明成功率をベースラインの約20%からヒトの証明で約39%、言語モデルの証明で38-39%程度まで大幅に向上させる。

ABSTRACT

The formalization of existing mathematical proofs is a notoriously difficult process. Despite decades of research on automation and proof assistants, writing formal proofs remains arduous and only accessible to a few experts. While previous studies to automate formalization focused on powerful search algorithms, no attempts were made to take advantage of available informal proofs. In this work, we introduce Draft, Sketch, and Prove (DSP), a method that maps informal proofs to formal proof sketches, and uses the sketches to guide an automated prover by directing its search to easier sub-problems. We investigate two relevant setups where informal proofs are either written by humans or generated by a language model. Our experiments and ablation studies show that large language models are able to produce well-structured formal sketches that follow the same reasoning steps as the informal proofs. Guiding an automated prover with these sketches enhances its performance from 20.9% to 39.3% on a collection of mathematical competition problems.

研究の動機と目的

• Formal proofs の不足を豊富な informal proofs で補う。
• informal proofs を formal proof sketches に翻訳して自動 proving を導く。
• Isabelle の miniF2F で人手作成と言語モデル生成の proofs を用いて DSP を評価する。

提案手法

• ドラフト informal proofs を作成し、few-shot autoformalization によって formal proof sketches へマッピングし、欠落を自動 provers で埋めるという three-stage の DSP を導入する。
• informal proofs を formal sketches に生成するために large language models (up to 175B parameters) を用いる。
• informal proofs (human or LM) を formal sketches と組み合わせ、オフ・ザ・シェルフの provers を適用して未完成の命題を閉じる。
• Isabelle での miniF2F 問題を実験し、Sledgehammer をヒューリスティクスとともにベースラインとして、Thor-based ベースラインと比較する。
• インラインのコメント、 informal proofs の drafting、 automated provers の ablations を実施して影響を評価する。
• Codex や Minerva の様々なスケールのモデルと人間の proofs を分析して、有効性と記憶性の懸念を評価する。

実験結果

リサーチクエスチョン

• RQ1 informal proofs を効果的に formal proof sketches に翻訳して自動 proving を導くことができるか。
• RQ2 人間 vs. language-model informal proofs の使用が Isabelle における formalization の成功に与える影響は？
• RQ3 インラインコメント、 drafting、 automated provers の ablations が DSP の性能とスケーラビリティにどう影響するか。

主な発見

• DSP は miniF2F における自動 proving によって解かれる問題の割合を 20.9% から 38.9–39.3%（証明ソースと設定に依存）に高める。
• 人間の informal proofs は miniF2F テストで 39.3% を達成；言語モデル proofs は 540B Minerva で最大 38.9%、62B Minerva で 37.7% の達成を示す。
• Minerva 62B および 540B は、 smaller LM baselines を超え、Isabelle における証明者の導きにおいて人間とほぼ同等の実力を示し、いくつかの prior neural approaches よりも優れている。
• Ablation studies は prompts における inline informal-discussion comments が成功を改善（例: バリデーションで +4.9%、テストで +2.8%）し、informal drafts を除くと性能が低下することを示す。 automated provers は重要で、それがないと損失は約 9–10%。
• DSP により humans の proofs を用いて miniF2F の 200/488 問題を、特定の LM 構成では約 199 問題を解くことが可能となる。
• ノイズのある informal proofs に対しても堅牢であり、いくつかの LM proofs は informal reasoning の誤りを修正または活用する。