[論文レビュー] Premise selection with neural networks and distributed representation of features

Andrzej Kucik, Konstantin Korovin|arXiv (Cornell University)|Jul 26, 2018

Topic Modeling参考文献 12被引用数 6

ひとこと要約

本稿では、ニューラルネットワークを用いた次元削減により、関数記号の分散表現を用いて自動定理証明における新規な前提選択手法を提案する。スパースで高次元の関数記号を、コンパクトな512次元の密ベクトルに変換することで、シンプルな2層の順伝播ニューラルネットワークが、前提選択において76.45%の精度を達成でき、従来のスパース表現に比べて効率性と性能が顕著に向上する。

ABSTRACT

We present the problem of selecting relevant premises for a proof of a given statement. When stated as a binary classification task for pairs (conjecture, axiom), it can be efficiently solved using artificial neural networks. The key difference between our advance to solve this problem and previous approaches is the use of just functional signatures of premises. To further improve the performance of the model, we use dimensionality reduction technique, to replace long and sparse signature vectors with their compact and dense embedded versions. These are obtained by firstly defining the concept of a context for each functor symbol, and then training a simple neural network to predict the distribution of other functor symbols in the context of this functor. After training the network, the output of its hidden layer is used to construct a lower dimensional embedding of a functional signature (for each premise) with a distributed representation of features. This allows us to use 512-dimensional embeddings for conjecture-axiom pairs, containing enough information about the original statements to reach the accuracy of 76.45% in premise selection task, only with simple two-layer densely connected neural networks.

研究の動機と目的

• 自動定理証明における前提選択の課題に対処すること。具体的には、ある定理の証明に必要な公理を特定することは重要であるが、計算的に高コストである。
• 論理式の従来のスパース表現（例：ワンホット表現や単語レベルの符号化）における次元の呪いを克服すること。
• ニューラルネットワークを用いて関数記号の密度的かつ低次元の分散表現を学習することで、モデルの効率性と精度を向上させること。
• 完全な論理構造を含まない関数記号の情報のみで、高精度な前提選択が可能であることを示すこと。
• 高次元の入力をコンパクトな埋め込みに置き換えることで、高機能な全結合ネットワークに代えて、軽量な全結合ネットワークを用いた高速な推論を可能とすること。

提案手法

• 論理式から関数記号を抽出し、関数記号の出現回数のみを保持することで、一階論理式から関数記号のサブセットを抽出する。
• 各サブセットを13,217次元のワンホットベクトルとして表現し、文脈的に関連する関数記号を予測するように訓練されたニューラルネットワークを用いて次元削減を実行する。
• 文脈における周囲の関数記号を予測するように、浅いニューラルネットワークを訓練し、隠れ層の出力を512次元の密ベクトル埋め込みとして利用する。
• 学習された埋め込みを、2層の全結合ニューラルネットワークの入力特徴として用い、証明の仮説と公理のペアが関連しているか否かを分類する。
• 過学習を軽減し一般化性能を向上させるために、訓練中にマックスプーリングとドロップアウトを適用する。
• Mizar40およびDeepMathデータセットから得た、正例（有用な）522,528件と負例（不要な）522,528件のバランスの取れたデータセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 完全な論理構造を含まない関数記号の情報のみで、自動定理証明における高精度な前提選択が可能か？
• RQ2 文脈に配慮したニューラルネットワークによる次元削減によって、コンパクトで情報豊富な埋め込みが得られ、スパース表現を上回る性能を発揮できるか？
• RQ3 学習済みの密度的埋め込みを入力として用いる場合、2層の順伝播ネットワークが、より深いまたはより複雑なアーキテクチャと比較して競争力のある性能を発揮できるか？
• RQ4 負例の選択がモデル性能に与える影響はどの程度か。特に、負例が真に無関係でない場合にその影響は？
• RQ5 関数記号の分散表現が、明示的な文法的または論理的文脈がなくても、意味的または構造的な関係を適切に捉えられるか？

主な発見

• 提案手法は、関数記号の512次元分散埋め込みのみを用いて、前提選択で76.45%の精度を達成した。
• より単純なニューラルネットワークアーキテクチャを用いながら、従来のスパース表現（例：文字レベルや単語レベル）を用いた手法を上回った。
• 文脈に配慮したニューラルネットワークによる次元削減により、入力次元を著しく削減しながらも、予測性能を維持した。
• 最終訓練段階で偽陰性率が11.0%にとどまり、関連する前提の再現率が非常に高かった。
• 関数記号の順序が任意であるため、畳み込み型や再帰型アーキテクチャよりも全結合ネットワークが優れた性能を示した。
• 関数記号の情報のみが、論理演算子や量化子を明示的に含まない状況でも、効果的な前提選択に十分な情報を含んでいることが示された。