[論文レビュー] HOList: An Environment for Machine Learning of Higher-Order Theorem Proving (extended version)

Kshitij Bansal, Sarah M. Loos+3 more|arXiv (Cornell University)|Apr 5, 2019

Logic, programming, and type systems被引用数 13

ひとこと要約

HOList は、高階論理定理証明における深層学習モデルの訓練を目的とした、HOL Light を基盤とするオープンソースの強化学習環境である。形式的数学から抽出された包括的なベンチマークを含み、特にケプラー予想の証明を含む。DeepHOL と呼ばれる深層強化学習エージェントを導入し、この困難な推論タスクにおいて優れた性能を達成している。

ABSTRACT

We present an environment, benchmark, and deep learning driven automated theorem prover for higher-order logic. Higher-order interactive theorem provers enable the formalization of arbitrary mathematical theories and thereby present an interesting, open-ended challenge for deep learning. We provide an open-source framework based on the HOL Light theorem prover that can be used as a reinforcement learning environment. HOL Light comes with a broad coverage of basic mathematical theorems on calculus and the formal proof of the Kepler conjecture, from which we derive a challenging benchmark for automated reasoning. We also present a deep reinforcement learning driven automated theorem prover, DeepHOL, with strong initial results on this benchmark.

研究の動機と目的

• 高階論理定理証明における機械学習モデルの訓練を可能にするスケーラブルでオープンソースの環境を構築すること。
• 微積分の基本定理やケプラー予想の証明を含む、現実の形式的数学に基づいた包括的なベンチマークを開発すること。
• 複雑で開放的な数学的ドメインにおける効果的な証明探索戦略を学習できる深層強化学習エージェントを可能にすること。
• 高階論理における深層学習と形式的定理証明を統合する可能性を実証すること。

提案手法

• フレームワークは HOL Light 定理証明器に基づき、形式的数学における強化学習のための構造化された環境を提供する。
• ベンチマークは、HOL Light に既存の形式化から抽出され、微積分の根幹をなす定理やケプラー予想の証明を含む。
• 深層強化学習エージェントである DeepHOL は、証明探索空間における行動を予測する方策ネットワークを用いて、証明手順の選択を学習する。
• 環境は、証明の進行状況と正しさに基づいた状態表現学習、行動空間の定義、報酬設計をサポートする。
• 証明探索の効率と成功確率を向上させるために、模倣学習と強化学習を併用して訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、現実的で形式的数学に基づいたベンチマークを用いて、高階論理における定理証明を学習できるか？
• RQ2 ベースライン戦略と比較して、学習された方策は複雑な証明探索空間を効果的にナビゲートできるか？
• RQ3 事前学習済みモデルは、高階論理内における多様な数学的ドメインにどれほど一般化できるか？
• RQ4 模倣学習と強化学習を組み合わせることで、定理証明におけるサンプル効率が向上するか？

主な発見

• DeepHOL は HOList ベンチマークで優れた性能を示し、高階論理における深層強化学習の実現可能性を実証した。
• HOL Light が形式化した微積分とケプラー予想の証明に基づくベンチマークは、自動推論のための現実的で挑戦的なテストベッドを提供している。
• 模倣学習と強化学習の統合により、証明探索におけるサンプル効率と収束速度が向上した。
• オープンソースのフレームワークにより、再現可能な研究と形式的数学向けAIシステムの今後の開発が可能になった。