[論文レビュー] Proving Theorems using Incremental Learning and Hindsight Experience Replay

Eser Aygün, Laurent Orseau+6 more|arXiv (Cornell University)|Dec 20, 2021

Logic, programming, and type systems被引用数 7

ひとこと要約

本論文では、段階的学習と後向き経験再生（HER）を用いて、スクラッチからドメイン特化型の1階論理定理証明器を機械学習ベースで訓練する手法を提案する。失敗した証明試行から後から訓練例を生成することで、システムは失敗経験から学習できる。この手法はTPTPデータセットにおいて、最先端の定理証明器Eと同等またはそれ以上の性能を達成し、98％のケースではるかに短い証明を生成する。

ABSTRACT

Traditional automated theorem provers for first-order logic depend on speed-optimized search and many handcrafted heuristics that are designed to work best over a wide range of domains. Machine learning approaches in literature either depend on these traditional provers to bootstrap themselves or fall short on reaching comparable performance. In this paper, we propose a general incremental learning algorithm for training domain specific provers for first-order logic without equality, based only on a basic given-clause algorithm, but using a learned clause-scoring function. Clauses are represented as graphs and presented to transformer networks with spectral features. To address the sparsity and the initial lack of training data as well as the lack of a natural curriculum, we adapt hindsight experience replay to theorem proving, so as to be able to learn even when no proof can be found. We show that provers trained this way can match and sometimes surpass state-of-the-art traditional provers on the TPTP dataset in terms of both quantity and quality of the proofs.

研究の動機と目的

• 事前証明や高性能なATPシステムに依存せずに、スクラッチから定理証明器を訓練する機械学習フレームワークを開発すること。
• 自動定理証明におけるスパarsな構造のない訓練データの課題に対処するため、失敗した証明試行から補助的訓練例を生成する後向き経験再生（HER）を活用すること。
• 段階的学習により、繰り返し短い証明を発見できる仕組みを提供することで、証明の質を向上させること。
• スペクトルグラフ特徴量とトランスフォーマーを組み合わせた学習済みの節スコア関数が、Eのようなハイパーパラメータベースの定理証明器を同等または上回ることを実証すること。

提案手法

• システムは基本的な与えられた節アルゴリズムをコア証明エンジンとして用い、節スコアリングを学習済みのトランスフォーマーに基づくモデルが制御する。
• 節は構造的情報をニューラルネットワークに符号化するためのスペクトル特徴を有するグラフとして表現される。
• 後向き経験再生（HER）を応用し、失敗した証明試行中に到達した節を、新たな解決可能な目標に変換することで、合成訓練例を生成する。
• システムは、時間の経過とともにより多くの目標を証明するように、カリキュラムに似たプロセスで段階的に訓練される。
• 証明探索中に探索と活用のバランスを取るために、DISCOUNTベースの探索戦略が用いられる。
• 訓練プロセスは自己教師あり学習である。元の目標が証明されなくても、中間状態から新たな証明可能な目標を生成できるため、継続的な学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 基本的な証明エンジンと事前証明が一切ない状態から、自己生成された訓練データのみに依存して定理証明器をスクラッチで訓練できるか？
• RQ2 後向き経験再生（HER）は、自動定理証明における学習効率と証明発見の向上にどの程度効果的か？
• RQ3 グラフ畳み込みトランスフォーマーに基づく学習済みの節スコア関数は、Eのような最先端のATPシステムにおける手作業で設計されたヒューリスティクスを上回ることができるか？
• RQ4 HERを用いた段階的学習は、従来の証明器と比較して、より短く質の高い証明をどの程度達成できるか？
• RQ5 提案手法は、ドメイン特化のヒューリスティクスを必要とせずに、TPTPデータセットの多様な分野に一般化可能か？

主な発見

• 段階的学習に後向き経験再生（IL w/HER）を組み合わせたシステムは、TPTPデータセットの20ドメイン中16ドメインでE証明器と同等またはそれ以上の性能を達成した。
• 両システムが成功した941の目標のうち921（97.9％）で、IL w/HERはEより短い証明を発見した。Eの証明が短かったのはたった9件にとどまった。
• 初期発見後の証明は平均で13％短くなったことから、再訪問と精練によって継続的な改善が行われていることが示された。
• HERがなければ、ハードなドメインで訓練データ不足により学習が停止していたことから、失敗経験からの学習を可能にするHERの重要性が明確になった。
• 7日間の訓練で、システムは1,042件の証明を生成し、はるかに単純な証明エンジンと事前ヒューリスティクスなしでEに近い性能を達成した。
• Eに比べて、証明の発見速度は同等であったが、Eは節を25.6倍速く生成できた。これは、速度差を埋めるためにより強力なスコア関数が必要であることを示唆している。