[論文レビュー] Automated Theorem Proving in Intuitionistic Propositional Logic by Deep Reinforcement Learning

Mitsuru Kusumoto, Keisuke Yahata+1 more|arXiv (Cornell University)|Nov 2, 2018

Natural Language Processing Techniques参考文献 23被引用数 8

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）を用いた新規なコンactなグラフ表現と反復的データ拡張を活用し、値関数の学習を目的とした深層強化学習手法を、直感的命題論理における自動定理証明に提案する。この手法はCoqのtauto戦略を上回り、10秒以内にベンチマーク定理の84%を解決した—tautoの52%を上回り、限られた学習データのもとでもニューラルネットワークがATPに有効であることを示している。

ABSTRACT

The problem-solving in automated theorem proving (ATP) can be interpreted as a search problem where the prover constructs a proof tree step by step. In this paper, we propose a deep reinforcement learning algorithm for proof search in intuitionistic propositional logic. The most significant challenge in the application of deep learning to the ATP is the absence of large, public theorem database. We, however, overcame this issue by applying a novel data augmentation procedure at each iteration of the reinforcement learning. We also improve the efficiency of the algorithm by representing the syntactic structure of formulas by a novel compact graph representation. Using the large volume of augmented data, we train highly accurate graph neural networks that approximate the value function for the set of the syntactic structures of formulas. Our method is also cost-efficient in terms of computational time. We will show that our prover outperforms Coq's $ exttt{tauto}$ tactic, a prover based on human-engineered heuristics. Within the specified time limit, our prover solved 84% of the theorems in a benchmark library, while $ exttt{tauto}$ was able to solve only 52%.

研究の動機と目的

• 直感的命題論理（IPL）におけるニューラルネットワークベースの自動定理証明（ATP）における大規模学習データの不足に取り組むこと。
• 初期の定理ライブラリが小さくても、強化学習を用いて正確な値関数を学習することで、証明探索の効率を向上させること。
• 論理式の構文を意識したコンパクトなグラフ表現を開発し、GNNの性能を向上させること。
• 深層強化学習とデータ拡張を組み合わせることで、Coqのtautoのようなヒューリスティックベースの定理証明器を上回る証明カバレッジを達成できることを示すこと。

提案手法

• 自然演繹の証明木の離散的状態空間上で、シークエント計算における証明探索を強化学習問題として定式化する。
• 新規なコンパクトなグラフ表現により、論理式の構文的構造を符号化し、変数名に依存しない構造的不変量をGNNが捉えられるようにする。
• 自己生成された学習データを用いて反復的に改善する近似方策反復（API）フレームワークを採用する。
• 各API反復において、小さな初期定理ライブラリから数百万件の合成学習例を生成するデータ拡張手順を導入し、強力な一般化を実現する。
• グラフニューラルネットワーク（GNN）を用いて、与えられた証明状態が解にどれほど近いかを推定する値関数を近似する。
• 推論時にはバックトラックを伴わないグリーディな深さ優先探索戦略を採用し、効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 初期学習データが限られている状況でも、データ拡張を用いた深層強化学習が、直感的命題論理におけるATPのためのニューラルネットワーク方策を有効に学習できるか？
• RQ2 GNNベースの評価関数は、Coqのtautoのようなヒューリスティックベースの定理証明器と比較して、証明カバレッジと効率性の面でどの程度優れているか？
• RQ3 データ拡張は、ATPにおける強化学習の文脈で、方策の劣化をどの程度防ぎ、一般化を向上させるか？
• RQ4 1ステップあたりの計算コストが高めでも、学習済みのニューラルネットワーク方策は、手作業で設計されたヒューリスティクスを上回れるか？
• RQ5 提案されたグラフ表現は、GNNが複雑な論理式の間で一般化する能力をどの程度向上させるか？

主な発見

• 提案された定理証明器は、ベンチマークライブラリの定理の84%を10秒以内に解決した。これはCoqのtauto戦略（52%）を顕著に上回るものである。
• データ拡張を伴う4回の近似方策反復の後、訓練セットで86%の証明カバレッジを達成し、収束性と一般化性能の高さが裏付けられた。
• データ拡張なしでは、方策は急速に劣化し、4回目の反復時点でわずか14%の定理しか解決できず、データ拡張の重要性が明確に示された。
• GNNベースの評価関数は、他のアーキテクチャよりも高い精度を達成し、1インスタンスあたりの計算コストが高めでも、より効果的な証明探索を可能にした。
• 時間制限のすべての条件下で、ベースラインより25%以上の定理を多く解決したため、意思決定の効率性に優れていることが示された。
• 数えきれないほどの初期定理（数千件）しか使用しなかったにもかかわらず、高い性能を達成した。これは、データ拡張により、公的で小さな定理ライブラリからも効果的な学習が可能であることを示している。