[論文レビュー] TacticZero: Learning to Prove Theorems from Scratch with Deep Reinforcement Learning

Minchao Wu, Michael Norrish+2 more|arXiv (Cornell University)|Feb 19, 2021

Logic, programming, and type systems参考文献 41被引用数 6

ひとこと要約

TacticZero は、インタラクティブ定理証明をマルコフ決定過程（MDP）として定式化することで、HOL4 において完全に新しい状態から定理を証明するための深層強化学習フレームワークを提案する。これにより、戦略選択、引数予測、バックトラッキングを伴う動的証明探索をエンド・トゥ・エンドで学習可能となる。未学習の問題において、既存のハムマーよりも優れた性能を発揮し、証明経路を自律的に探索し、非生産的経路を放棄することで、効果的な証明探索が可能となる。

ABSTRACT

We propose a novel approach to interactive theorem-proving (ITP) using deep reinforcement learning. The proposed framework is able to learn proof search strategies as well as tactic and arguments prediction in an end-to-end manner. We formulate the process of ITP as a Markov decision process (MDP) in which each state represents a set of potential derivation paths. This structure allows us to introduce a novel backtracking mechanism which enables the agent to efficiently discard (predicted) dead-end derivations and restart from promising alternatives. We implement the framework in the HOL4 theorem prover. Experimental results show that the framework outperforms existing automated theorem provers (i.e., hammers) available in HOL4 when evaluated on unseen problems. We further elaborate the role of key components of the framework using ablation studies.

研究の動機と目的

• 既存の学習ベースの ITP 法が限定的な人為的証明例や固定された探索戦略（BFS や DFS）に依存するという限界を解消すること。
• エージェントが完全に新しい状態から、証明探索戦略、戦略選択、引数予測をエンド・トゥ・エンドで学習できること。
• MDP フレームワーク内に、非生産的導出経路の効率的 pruning と有望な代替経路からの再起動を可能にする、新しいバックトラッキング機構を導入すること。
• 人為的アノテーション付き証明ライブラリに依存せずに、未学習の定理において既存の自動定理証明器（ハムマーオン）を上回ること。
• アブレーションスタディを通じて、主な構成要素（MDP 定式化、ポリシー勾配学習、バックトラッキング）の貢献を検証すること。

提案手法

• 各状態が複数の潜在的導出経路を表すマルコフ決定過程（MDP）として、インタラクティブ定理証明を定式化し、証明探索中に複数経路の追跡を可能にする。
• 定理名と項の両方を引数として使用できる戦略適用を可能にする階層的アクション空間を設計し、豊富で柔軟な証明行動を実現する。
• バックトラッキング、ゴール、戦略、引数レベルでのアクション予測を同時に実行する複数の再帰的および順方向ニューラルネットワークを用いて、深層強化学習エージェントを実装する。
• 報酬信号として証明成功に基づくものを利用し、ポリシー勾配法（例：REINFORCE）を用いてエージェントをエンド・トゥ・エンドで訓練し、非生産的経路からのバックトラッキングを学習する。
• 非生産的導出経路を破棄し、以前に訪問済みの有望な証明状態から再起動できる、新しいバックトラッキング機構を統合する。
• 自己生成された証明試行と証明成功に基づく報酬信号を用いて、HOL4 定理証明器でエージェントを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーション付き証明例に依存せずに、強化学習エージェントが効果的な証明探索戦略を学習できるか？
• RQ2 MDP ベースのフレームワークに統合されたバックトラッキング機構は、ITP における非生産的証明経路の pruning にどの程度効果的か？
• RQ3 固定された探索戦略と比較して、戦略および引数予測のエンド・トゥ・エンド学習は、未学習の定理における性能向上にどの程度寄与するか？
• RQ4 MDP 定式化、ポリシー勾配学習、バックトラッキングといった主なアーキテクチャ的構成要素が、全体の証明性能に果たす貢献は何か？
• RQ5 エージェントは、学習分布を超えた新しい定理に一般化可能であり、HOL4 における既存の自動定理証明器（ハムマーオン）を上回る性能を発揮できるか？

主な発見

• TacticZero は、未学習の定理において、HOL4 における最先端のハムマー（E, Z3, Vampire）を上回り、優れた一般化能力と証明探索能力を示した。
• エージェントは、ライブラリに既に人為的に検証済みの証明よりも短い証明を発見した。特に、以前は多くの冗長ステップを含んでいた複雑な補題についても、最小化された証明を発見した。
• アブレーションスタディにより、バックトラッキング機構と戦略・引数予測の統合学習が性能に不可欠であることが確認された。両者のいずれかを除去すると、成功確率が著しく低下した。
• MDP 定式化により、エージェントは複数の証明経路を同時に探索し、動的に注目を移行でき、BFS や DFS の非効率性を回避できた。
• 自己生成された証明試行から学習することで、外部の証明ライブラリへの依存を低減し、高いサンプル効率を達成した。
• エージェントは、前提選択用の事前設計されたスコア関数を必要とせず、複雑な HOL4 項を含む戦略とその引数を学習して適切に選択した。