[論文レビュー] Learning to Prove with Tactics

Thibault Gauthier, Cezary Kaliszyk+3 more|arXiv (Cornell University)|Apr 2, 2018

Logic, programming, and type systems参考文献 17被引用数 11

ひとこと要約

TacticToe は、HOL4 上に構築された自動戦術証明器であり、人間の証明から学習してモンテカルロ木探索における有効な戦術の選択をガイドする。60秒以内に HOL4 の標準ライブラリで 66.4% の成功率を達成した。これは E prover の 34.5% より顕著に優れており、組み合わせると 69.0% にまで上昇する。

ABSTRACT

We implement a automated tactical prover TacticToe on top of the HOL4 interactive theorem prover. TacticToe learns from human proofs which mathematical technique is suitable in each proof situation. This knowledge is then used in a Monte Carlo tree search algorithm to explore promising tactic-level proof paths. On a single CPU, with a time limit of 60 seconds, TacticToe proves 66.4 percent of the 7164 theorems in HOL4's standard library, whereas E prover with auto-schedule solves 34.5 percent. The success rate rises to 69.0 percent by combining the results of TacticToe and E prover.

研究の動機と目的

• 人間の証明戦略から学習する自動証明器を開発し、インタラクティブ定理証明における戦術選択を改善すること。
• 人間が構築した証明から得た知識を活用して、複雑な証明探索空間における有効な証明戦術の選択の課題に対処すること。
• 学習された戦術の好みを探索アルゴリズムに統合することで、HOL4 における自動定理証明の性能を向上させること。

提案手法

• TacticToe を HOL4 インタラクティブ定理証明器の上位に位置する戦術的証明器として実装する。
• 人間が構築した証明から戦術の好みを抽出し、証明探索をガイドする方策ネットワークを学習する。
• 学習された好みに基づいて、有望な戦術レベルの証明経路を探索するため、モンテカルロ木探索（MCTS）を用いる。
• HOL4 の標準ライブラリにおける性能を評価するために、1定理あたり 60 秒の時間制限を設けて探索を実行する。
• 自動スケジューリングを用いて TacticToe を E prover と統合し、全体の成功確率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 人間の証明から学習することで、HOL4 における自動証明探索における有効な戦術選択戦略を獲得できるか？
• RQ2 人間の証明パターンから学習することは、ベースラインシステムと比較して自動定理証明の成功確率にどのような影響を与えるか？
• RQ3 学習された方策によってガイドされるモンテカルロ木探索は、E のような従来の自動証明器をどの程度上回るか？

主な発見

• TacticToe は、HOL4 の標準ライブラリに含まれる 7,164 個の定理のうち 66.4% を 60 秒の制限時間内に証明した。
• E prover が自動スケジューリングを用いる場合、同じベンチマークで 34.5% の成功率を達成し、顕著な性能差が示された。
• TacticToe を E prover と組み合わせることで、全体の成功率が 69.0% に上昇した。
• MCTS に学習された戦術の好みを統合することで、証明探索空間のより効果的な探索が可能になった。
• 結果として、人間の証明から学習することは、現実世界の定理証明環境における自動証明性能を顕著に向上させることを示している。