[論文レビュー] Learning to Prove from Synthetic Theorems

Eser Aygün, Zafarali Ahmed+6 more|arXiv (Cornell University)|Jun 19, 2020

Machine Learning and Algorithms参考文献 27被引用数 8

ひとこと要約

本論文では、公理から生成された合成定理を用いて自動定理証明者を訓練する手法を提案する。人為的に提供された証明データの必要性を回避する。この方法では、飽和に基づく証明探索のコスト関数を教師あり学習によって合成データで訓練する。TPTPベンチマークにおける人間が生成した問題において、強力な性能を発揮し、人間のデータで訓練されたモデルよりも多くの公理集合で優れている。

ABSTRACT

A major challenge in applying machine learning to automated theorem proving is the scarcity of training data, which is a key ingredient in training successful deep learning models. To tackle this problem, we propose an approach that relies on training with synthetic theorems, generated from a set of axioms. We show that such theorems can be used to train an automated prover and that the learned prover transfers successfully to human-generated theorems. We demonstrate that a prover trained exclusively on synthetic theorems can solve a substantial fraction of problems in TPTP, a benchmark dataset that is used to compare state-of-the-art heuristic provers. Our approach outperforms a model trained on human-generated problems in most axiom sets, thereby showing the promise of using synthetic data for this task.

研究の動機と目的

• 深層学習の応用における主要な障壁である自動定理証明（ATP）における訓練データの不足を解決すること。
• 人間が生成した定理や証明に依存することを克服し、これらは限界があり生産にコストがかかるため。
• 公理と合成定理のみを用いて、データ効率的かつスケーラブルな方法で証明者を訓練する。
• 合成データで訓練された証明者が、現実世界の、人間が書いた数学的問題に一般化できることを示すこと。
• コンピュータビジョンや自然言語処理で成功を収めたのと同様に、ATPにおけるデータ豊富な訓練体制を実現すること。

提案手法

• 公理の集合に対して前向きの推論規則を適用することで、論理的に妥当な命題を生成し、合成定理を生成する。
• これらの合成定理に対して、単純で訓練されていない証明者を用いて証明トレースを生成し、コスト関数の訓練データを構築する。
• 飽和に基づく証明探索における推論の有用性を予測するため、ニューラルネットワーク（MLP または GNN）を訓練する。
• 人間の証明ではなく、合成証明データを用いて、コスト関数の学習を教師ありタスクとして定式化する。
• 訓練されたコスト関数を飽和に基づく証明者に適用し、人間が生成した予想の証明探索を実行する。
• 一階論理の推論に解体完全な証明探索を実現するため、解体計算と結合正規形（CNF）を用いる。

実験結果

リサーチクエスチョン

• RQ1 合成定理のみで訓練された定理証明者が、実際の、人間が生成した数学的問題を解けるか？
• RQ2 合成データで訓練することで、人間が提供した証明データで訓練した場合よりも一般化性能が向上するか？
• RQ3 合成証明トレースのみを用いて、ニューラルネットワークが効果的なコスト関数を学習できるか？
• RQ4 標準的なATPベンチマークにおいて、合成データで訓練された証明者の性能は、人間のデータで訓練されたモデルと比べてどうか？
• RQ5 合成定理によるデータ拡張によって、スケーラブルでデータ豊富な訓練が自動定理証明で可能になるか？

主な発見

• 合成定理のみで訓練された証明者が、TPTPベンチマークの多数の問題を解き、人間が生成した問題への強いゼロショット一般化を示した。
• TPTPベンチマークの多数の公理集合において、人間のデータで訓練されたモデルよりも、合成データで訓練された証明者が優れた性能を発揮した。
• 学習されたコスト関数により、推論中に生成される節の数が減少した。これは、効率性とスケーラビリティの向上を示唆している。
• 本手法は、人間の定理や証明に一切触れることなく、TPTPで最先端の性能を達成した。これにより、合成データの有効性が裏付けられた。
• 本手法により、ATPにおけるデータ豊富な訓練体制が可能となり、視覚や自然言語処理の成功例と同様に、データが不足する状況からデータ豊富な状況へと分野を転換できる。
• 結果から、合成データは定理証明における人間がアノテートした証明データの代替として、実用的かつ効果的である可能性があると示唆された。