[論文レビュー] An Experimental Study of Formula Embeddings for Automated Theorem Proving in First-Order Logic

Ibrahim Abdelaziz, Veronika Thost+2 more|arXiv (Cornell University)|Feb 2, 2020

Natural Language Processing Techniques参考文献 33被引用数 4

ひとこと要約

本論文は、TRAILシステムを用いた一階論理におけるニューラルガイド付き自動定理証明において、パターンベースとグラフベースの数式埋め込みの評価と比較を実施する。高い実行時間コストがあるにもかかわらず、特にメッセージ伝搬ネットワーク（MPNNs）を含むグラフニューラルネットワーク（GNN）埋め込みは、単純なパターンベース手法よりもはるかに短く、より簡潔な証明とより効率的な探索戦略を生成する。これは、実行時間を考慮しても証明の質と探索効率において優位であることを示している。

ABSTRACT

Automated theorem proving in first-order logic is an active research area which is successfully supported by machine learning. While there have been various proposals for encoding logical formulas into numerical vectors -- from simple strings to more involved graph-based embeddings -- little is known about how these different encodings compare. In this paper, we study and experimentally compare pattern-based embeddings that are applied in current systems with popular graph-based encodings, most of which have not been considered in the theorem proving context before. Our experiments show that the advantages of simpler encoding schemes in terms of runtime are outdone by more complex graph-based embeddings, which yield more efficient search strategies and simpler proofs. To support this, we present a detailed analysis across several dimensions of theorem prover performance beyond just proof completion rate, thus providing empirical evidence to help guide future research on neural-guided theorem proving towards the most promising directions.

研究の動機と目的

• 自動定理証明における異なる数式埋め込み戦略を、公平に比較すること。
• さまざまな埋め込み手法における実行時間効率と証明の質のトレードオフを評価すること。
• ニューラルガイド付きATPシステムにおいて、より効率的な探索経路とより単純な証明をもたらす埋め込み戦略を特定すること。
• 多様な符号化手法の強みと弱みを実証的に評価することで、今後のニューラルガイド付き定理証明研究を導くこと。

提案手法

• 本研究では、構文パターンと部分構造のカウントを用いて論理式を符号化する2つのパターンベース埋め込みアプローチ（項ウォークとチェーンパターン）を実装する。
• グラフニューラルネットワーク（GNN）の複数のバリアント、特にグラフ畳み込みネットワーク（GCNs）とメッセージ伝搬ニューラルネットワーク（MPNNs）を用い、共有部分式や変数の量化を捉える構造的グラフとして数式を符号化する。
• すべての埋め込みは、同一のニューラルガイド付きATPシステムであるTRAIL内でのみ評価され、各手法間で一貫した方策学習と行動選択が保証される。
• 性能は、証明完了率、平均証明長、無駄なステップ数（探索非効率性）、および各証明フェーズごとの実行時間の複数の次元で測定される。
• 構文木と有向無閉路グラフ（DAG）表現を用いてベクトル化を行い、構造的および意味的関係を保持する。
• 実行時間の分解分析を実施し、ベクトル化、行動選択、推論フェーズごとのパフォーマンスボトルネックを特定する。

実験結果

リサーチクエスチョン

• RQ1 自動定理証明において、パターンベース埋め込みとグラフベース埋め込みは、証明完了率と探索効率の観点でどのように比較されるか？
• RQ2 より複雑なグラフベース埋め込みは、高い計算コストを伴うが、単純なパターンベース符号化よりも、より単純で簡潔な証明をもたらすか？
• RQ3 埋め込み戦略の選択が、証明探索プロセスにおける無駄なステップ数にどの程度影響を与えるか？
• RQ4 高い実行時間オーバーヘッドがあるにもかかわらず、グラフベース埋め込みは強化学習方策の探索効率を向上させることができるか？
• RQ5 どの埋め込みタイプがATPシステムにおいて最も的確で深さ優先探索に類似した探索行動を可能にするか？

主な発見

• グラフベース埋め込み、特にMPNNsは、パターンベース手法よりも顕著に短い証明を生成し、GCNsは全手法の中で最も短い証明を達成した。
• MPNNsは無駄なステップの割合が最も低く（4.2％）、証明の簡潔さが最も高く、より的確で深さ優先探索に類似した戦略を示した。
• 高い実行時間コストがあるにもかかわらず、グラフベース埋め込みはパターンベース手法を証明の質と探索効率の両面で上回った。一方、パターンベース手法は無駄なステップ率が高かった（例：チェーンパターンでは12.1％）。
• パターンベースエンコーダーはベクトル化と方策評価が速く、推論に割り当てられる時間が長かったが、その利点は劣った探索行動に打ち消された。
• 本研究では、MPNNsがこの文脈でGCNsよりも効果的であることが確認された。これは、メッセージ伝搬メカニズムが定理証明に必要な論理的構造をよりよく捉えていることを示唆している。
• 結果として、計算上のオーバーヘッドがあるにもかかわらず、より洗練された意味論的グラフ符号化をニューラルガイド付きATPに採用することが、証明の質と探索効率の両面で優れているため、推奨される。