[論文レビュー] Training a First-Order Theorem Prover from Synthetic Data

Vlad Firoiu, Eser Aygün+7 more|arXiv (Cornell University)|Mar 5, 2021

Natural Language Processing Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、人間によるアノテーションデータに依存せずに、合成的に生成された定理のみを用いて1階述語論理定理証明器を学習する手法を提案する。前向きに定理を生成するプロポーザーを用いて有効な定理を生成し、神経的ガイドによる探索方針の distillation を行うことで、合成データ上では E-prover を上回り、等式を含まない未学習の TPTP 問題で72%の成功を達成する。これは強力なゼロショット転移性能を示している。

ABSTRACT

A major challenge in applying machine learning to automated theorem proving is the scarcity of training data, which is a key ingredient in training successful deep learning models. To tackle this problem, we propose an approach that relies on training purely with synthetically generated theorems, without any human data aside from axioms. We use these theorems to train a neurally-guided saturation-based prover. Our neural prover outperforms the state-of-the-art E-prover on this synthetic data in both time and search steps, and shows significant transfer to the unseen human-written theorems from the TPTP library, where it solves 72\% of first-order problems without equality.

研究の動機と目的

• 神経的定理証明における学習データの不足を解消するため、人間によるアノテーション付き形式化に依存せず、合成的に生成された定理を用いること。
• 人間が提供する証明や例なしに、合成データのみを用いて神経的ガイド付きの飽和型証明器を学習すること。
• 合成データで学習した証明器が、TPTP ライブラリの実世界の、人間が書いた定理に一般化できるかどうかを評価すること。
• 転移性能を最大化するために、合成データ生成プロセスを多様性、難易度、サイズの観点から最適化すること。

提案手法

• 前向きプロポーザーが、公理に線形分解を適用することで合成定理を生成し、句のサイズに応じたソフトマックスにより、より小さな句に偏るようバイアスをかける。
• 与えられた句アルゴリズムを用い、句の確率予測と句のサイズを組み合わせた神経的コスト関数を用いる。初期学習段階では、サイズの重みを64:1で優先する。
• AlphaZero に類似した探索蒸留技術を用い、合成問題上で自己対戦により神経的コスト関数を学習する。
• 経験の再利用バッファを用い、複数のエージェントの経験を統合して、句の特徴に MLP もしくは Transformer 構造を適用して学習する。
• 句の特徴には、リテラル数、記号数、述語／関数記号／変数の多様性、推論メタデータが含まれ、固定長のベクトルに符号化される。
• 句選択には優先度キューを用い、証明状態の効率を維持するために前向きおよび後向きの包含削減を適用する。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーション付き証明が一切ない状況でも、合成定理のみを用いて1階述語論理定理証明器を効果的に学習できるか？
• RQ2 合成データで学習した証明器は、TPTP ライブラリの実世界の、人間が書いた定理に一般化できるか？
• RQ3 合成データ生成のパラメータ（ステップ数、温度）が、実問題への転移性能に与える影響は何か？
• RQ4 E-prover や他のベースライン証明器と比較して、神経的ガイドが探索効率に与える影響は何か？

主な発見

• 神経的証明器は、合成学習分布上において、E-prover よりも優れた性能を示し、より少ない時間と探索ステップでより多くの問題を解決した。
• 等式を含まない未学習の TPTP テストセット（1階論理問題）において、最良に学習された証明器は72%の成功率を達成した。これは、非学習型証明器の42%というベースラインと比べて顕著な向上である。
• 本システムは強力なゼロショット転移性能を示し、トレーニング中に TPTP データに一切触れることなく、72%の TPTP 問題を解決した。
• 前向きプロポーザーのハイパーパrameterは、句のサイズ、難易度、多様性といった代理指標を用いて調整された。各設定で平均句サイズを64以下に制限し、少なくとも50万個の固有定理を生成する必要があった。
• Transformer を用いた神経的コスト関数は、MLP よりも転移性能が優れていたが、両者とも強力な一般化性能を示した。
• MLP の学習を2日以上に延長してもさらなる向上が得られず収束したのに対し、Transformer モデルは継続的な改善を示した。