[論文レビュー] Property Invariant Embedding for Automated Reasoning

Miroslav Olšák, Cezary Kaliszyk+1 more|arXiv (Cornell University)|Nov 27, 2019

Logic, programming, and type systems被引用数 18

ひとこと要約

この論文では、記号の入れ替え、否定、節/リテラルの順序に不変な数学的式を符号化する新しいグラフニューラルネットワークアーキテクチャである性質不変埋め込み（PIE）を提案する。記号を抽象的ノードとして表現し、特別なメッセージパッシングを用いることで、PIEは記号推定で65%の精度を達成し、先行手法と比較して学習誘導型定理証明を45.6%向上させる。

ABSTRACT

Automated reasoning and theorem proving have recently become major challenges for machine learning. In other domains, representations that are able to abstract over unimportant transformations, such as abstraction over translations and rotations in vision, are becoming more common. Standard methods of embedding mathematical formulas for learning theorem proving are however yet unable to handle many important transformations. In particular, embedding previously unseen labels, that often arise in definitional encodings and in Skolemization, has been very weak so far. Similar problems appear when transferring knowledge between known symbols. We propose a novel encoding of formulas that extends existing graph neural network models. This encoding represents symbols only by nodes in the graph, without giving the network any knowledge of the original labels. We provide additional links between such nodes that allow the network to recover the meaning and therefore correctly embed such nodes irrespective of the given labels. We test the proposed encoding in an automated theorem prover based on the tableaux connection calculus, and show that it improves on the best characterizations used so far. The encoding is further evaluated on the premise selection task and a newly introduced symbol guessing task, and shown to correctly predict 65% of the symbol names.

研究の動機と目的

• 自動定理証明における記号の入れ替えやスコーレム化に対応できない既存のニューラル埋め込みの限界を解決すること。
• 一階論理における記号名の変更、否定、節の順序に不変なニューラルネットワークアーキテクチャを開発すること。
• 以前に見られなかったラベルを持つ記号間での転移学習と知識の転送を可能にすること。
• 形式的数学データセットにおける前提選択および記号推定タスクの改善

提案手法

• 部分項、リテラル、記号をノードとする節からハイパーグラフを構築し、エッジが句単位の関係を表す。
• 関数記号と述語記号を元のラベルに依存しない抽象的ノードとして表現する。
• ノード間に追加のリンクを導入し、記号名にかかわらず意味的意味を回復できるようにする。
• 否定および記号名の変更に対して不変性を保つハイパーグラフ上のメッセージパッシング機構を用いる。
• 構造的変換に対して不変な実数値ベクトルに、節、リテラル、部分項、記号を埋め込むようにネットワークを訓練する。
• モデルを用いて、leanCoPの誘導、前提選択、および形式論理データセットにおける新しい記号推定タスクを実行する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、一階論理における記号名の変更に対して不変でありながら、意味的意味を保持できるか？
• RQ2 このようなモデルは、スコーレム化や節化の過程で登場する以前に見たことのない記号に対し、どの程度一般化できるか？
• RQ3 否定および節の順序に不変であることは、自動定理証明のパフォーマンスにどの程度向上をもたらすか？
• RQ4 記号名に依存せずに、前提選択および記号推定タスクを効果的に実行できるか？
• RQ5 不変埋め込みは、学習誘導型定理証明において測定可能な改善をもたらすか？

主な発見

• 提案された性質不変埋め込み（PIE）モデルは、新たに導入された記号推定タスクにおいて65%の精度を達成した。
• PIEは、XGBoost誘導型ベースラインと比較して、最初の学習イテレーションにおいてテストセットでleanCoPにおける学習誘導型定理証明を45.6%向上させた。
• モデルは前提選択タスクにおいて、形式的数学コーパス全体にわたる強力な一般化性能を示した。
• PIEは記号名の変更、否定、節/リテラルの順序に対して不変性を維持しており、頑健な転移学習を可能にした。
• このアーキテクチャにより、数学的理論間の構造的整合性を検出することで、予想を生成するという新しい応用が可能になった。
• 40%の記号が問題固有のものである現実のATPデータセットでも、モデルは優れたパフォーマンスを示し、実用的価値を確認した。