[論文レビュー] Proof Artifact Co-training for Theorem Proving with Language Models

Jesse Michael Han, Jason Rute+3 more|arXiv (Cornell University)|Feb 11, 2021

Topic Modeling参考文献 57被引用数 6

ひとこと要約

この論文は、Leanにおけるカーネルレベルの証明項を活用して大規模言語モデルの補助的学習信号を生成する自己教師あり手法PACT（Proof Artifact Co-training）を紹介する。この手法により、戦略予測の性能が顕著に向上し、保留テスト定理における定理証明成功確率が32％から48％に上昇する。

ABSTRACT

Labeled data for imitation learning of theorem proving in large libraries of formalized mathematics is scarce as such libraries require years of concentrated effort by human specialists to be built. This is particularly challenging when applying large Transformer language models to tactic prediction, because the scaling of performance with respect to model size is quickly disrupted in the data-scarce, easily-overfitted regime. We propose PACT ({\bf P}roof {\bf A}rtifact {\bf C}o-{\bf T}raining), a general methodology for extracting abundant self-supervised data from kernel-level proof terms for co-training alongside the usual tactic prediction objective. We apply this methodology to Lean, an interactive proof assistant which hosts some of the most sophisticated formalized mathematics to date. We instrument Lean with a neural theorem prover driven by a Transformer language model and show that PACT improves theorem proving success rate on a held-out suite of test theorems from 32\% to 48\%.

研究の動機と目的

• 形式的数学分野におけるラベル付きデータの不足に取り組む。ここには、人間による証明の形式化に熟練した専門家が数年を要する。
• データが乏しい環境において、特に過学習に陥りやすい状況下で、大規模言語モデルの戦略予測性能を向上させること。
• 人間のアノテーションを必要とせず、証明項から学習信号を抽出する汎用的で自己教師ありの手法を開発すること。
• PACTを事前学習（例：WebMath）と組み合わせることで、分布外の定理において優れた一般化性能と性能を示すことを実証すること。

提案手法

• PACTは、Leanにおける既存の人工的証明から、完全に型付けされ、カーネルで検証済みの証明項（証明アーティファクト）を抽出することで、自己教師ありの補助的タスクを構築する。
• この手法は、証明項の構造と型レベルの不変量から導出された複数の自己教師あり目的と、標準的な戦略予測目的を同時に学習するTransformerベースの言語モデルを訓練する。
• 証明アーティファクトを用いてマスク言語モデル化および再構成タスクを生成し、モデルが形式的証明の深い構文的・意味的構造を学習できるようにする。
• このアプローチは、Supervised Learning、強化学習、PACT共同学習をサポートするLean 3用のデータセットおよび学習環境であるLeanStepに統合されている。
• モデルは、徐々に複雑化する定理のカリキュラムを用いて微調整され、保留テストセットでの性能が監視される。
• PACTはWebMathの事前学習と組み合わせられ、分布外の定理における一般化性能と性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 証明アーティファクトからの自己教師あり学習が、データが乏しい形式的定理証明における戦略予測性能を顕著に向上させ得るか？
• RQ2 証明アーティファクトの共同学習は、標準的な模倣学習と比較して、一般化性能および頑健性において優れているか？
• RQ3 PACTは、新しい定義や複雑な構造を含む分布外の定理において、どの程度性能を向上させ得るか？
• RQ4 大規模な数学テキスト（例：WebMath）上で事前学習したPACTと組み合わせることで、単独で使用する場合よりも優れた結果が得られるか？

主な発見

• PACTにより、保留テストセットにおける定理証明成功確率が32％から48％に上昇し、データが乏しい環境下での顕著な性能向上が示された。
• PACTとWebMath事前学習の組み合わせは、最小の検証損失と最大の成功確率を達成しており、相乗効果が裏付けられた。
• 数千の定理からなる分布外テストセット（新規定義を含むものも）において、PACTは37％の成功確率を達成し、強力な一般化性能を示した。
• モデルは、人間が書いた証明に存在しない複素数の補題を用いるなど、より簡潔で一般性の高い証明を発見した。
• 訓練データに存在しないが、正しい引数プレースホルダを伴って正しく推論・適用する補題（例：@norm_eq_zero）を、モデルは正しく認識した。
• PACTを用いて生成された証明は、`simpa [...] using @...` といった高度なイディオムを頻繁に使用しており、証明自動化のパターンに対する深い理解を示している。