[論文レビュー] HolStep: A Machine Learning Dataset for Higher-order Logic Theorem Proving

Cezary Kaliszyk, François Chollet+1 more|arXiv (Cornell University)|Mar 1, 2017

Logic, programming, and type systems参考文献 22被引用数 30

ひとこと要約

本論文は、ケプラー予想や HOL Light の多変数解析ライブラリを含む形式的数学の形式的証明から得た、220万件の高階論理（HOL）証明ステップからなる大規模な機械学習データセット HolStep を紹介する。このデータセットにより、証明ステップが有用か無関係かを分類するモデルの訓練が可能となり、前提なしで有用性を予測する際のベースラインモデルは最大83%の正確度を達成した。これは、単なるパターンマッチングをはるかに超える定理証明における機械学習の可能性を示している。

ABSTRACT

Large computer-understandable proofs consist of millions of intermediate logical steps. The vast majority of such steps originate from manually selected and manually guided heuristics applied to intermediate goals. So far, machine learning has generally not been used to filter or generate these steps. In this paper, we introduce a new dataset based on Higher-Order Logic (HOL) proofs, for the purpose of developing new machine learning-based theorem-proving strategies. We make this dataset publicly available under the BSD license. We propose various machine learning tasks that can be performed on this dataset, and discuss their significance for theorem proving. We also benchmark a set of simple baseline machine learning models suited for the tasks (including logistic regression, convolutional neural networks and recurrent neural networks). The results of our baseline models show the promise of applying machine learning to HOL theorem proving.

研究の動機と目的

• 自動定理証明における機械学習研究を促進するため、大規模かつ公開可能な高階論理証明ステップのデータセットを開発すること。
• 対話的定理証明システムにおける中間証明ステップのフィルタリングや生成に機械学習が応用されていない現状を是正すること。
• 証明ステップの有用性分類のためのベースラインモデルをベンチマーク化すること。特に、文字およびトークンレベルの符号化に焦点を当てる。
• 深層学習が HOL を基盤とする定理証明における検索効率とガイドラインの向上に果たす可能性を調査すること。

提案手法

• データセットは、HOL Light の 11,400 証明およびケプラー予想の形式的証明から構築され、学習例が 2,013,046 点、テスト例が 196,030 点である。
• 各証明ステップは、最終的な証明における役割に基づき、有用または非有用としてラベル付けされている。人為的および自動生成の両方のステップが含まれる。
• 入力表現には、元の文字列列およびトークン化された文が含まれ、符号化の感受性を評価する。
• 3つのベースラインモデルを訓練した：ロジスティック回帰、1次元畳み込みニューラルネットワーク（CNN）、およびシーケンスモデリング用の CNN-LSTM アーキテクチャ。
• 前提なし（証明の仮定なし）および証明の仮定ありの分類タスクを評価し、文脈の利用度を分析する。
• 性能は正確度で測定され、入力符号化および条件付き処理に関するアブレーションスタディにより、モデルの挙動を分析した。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、高階論理定理証明における証明ステップを有用／非有用に効果的に分類できるか？
• RQ2 異なる入力符号化（文字 vs. トークン）は、証明ステップの有用性予測におけるモデル性能にどのように影響するか？
• RQ3 モデルは、証明の仮定をどの程度活用して有用性分類を改善できるか？
• RQ4 深層学習モデルは、単なる n-gram 特徴をはるかに超える意味的なパターンを証明文から捉えられるか？
• RQ5 特定のアーキテクチャが、証明の仮定が与えられた状況で、単純なモデルを上回ることができないのはなぜか？

主な発見

• 前提なしの1次元 CNN モデルは、証明ステップの有用性分類において 82–83% の正確度を達成し、文字レベルまたはトークンレベルの n-gram パatters が非常に有用であることを示している。
• ロジスティック回帰モデルは、深層学習モデルと同等の性能を示しており、このタスクでは単純なパターンマッチングがすでに効果的であることを示している。
• 証明の仮定を含めてもモデルの性能は向上せず、収束が速くなり、早期に過学習に陥る傾向がある。これは、文脈情報がうまく活用されていないことを示唆している。
• CNN-LSTM モデルは 1次元 CNN を上回らない。これは、モデルが入力シーケンス内の順序の意味的な順序を効果的に活用できていないことを示している。
• トークン符号化はシーケンス長を短くするが、再帰層の利点を損なう可能性があり、CNN-LSTM モデルで顕著な性能低下を引き起こしている。