[論文レビュー] Premise Selection for Theorem Proving by Deep Graph Embedding

Mingzhe Wang, Yihe Tang+2 more|arXiv (Cornell University)|Sep 28, 2017

Advanced Graph Neural Networks参考文献 31被引用数 26

ひとこと要約

本稿では、自動定理証明における前提選択のための深層グラフ埋め込み手法を提案する。高階論理式を変数名の変更に対して不変である構文的・意味的構造を保持するグラフとして表現する。近隣構造に基づいてノード埋め込みを反復的に更新し、プーリングによってグラフレベルの表現を形成することで、HolStepデータセットで90.3%の精度を達成した。これは先行研究の最高性能（83%）を7.3ポイント上回る。

ABSTRACT

We propose a deep learning-based approach to the problem of premise selection: selecting mathematical statements relevant for proving a given conjecture. We represent a higher-order logic formula as a graph that is invariant to variable renaming but still fully preserves syntactic and semantic information. We then embed the graph into a vector via a novel embedding method that preserves the information of edge ordering. Our approach achieves state-of-the-art results on the HolStep dataset, improving the classification accuracy from 83% to 90.3%.

研究の動機と目的

• 探索空間を縮小するための前提選択の向上により、自動定理証明における組み合わせ的爆発の課題に対処する。
• 数学的式における構造的関係を捉えられないという、系列ベースのモデルの限界を克服する。
• 変数名の変更に対して不変でありながら、構文的・意味的構造を保持する高階論理式のグラフベース表現を開発する。
• 反復的近隣集約を用いてグラフをベクトルに埋め込む深層学習フレームワークを設計し、構造的特徴のエンドツーエンド学習を可能にする。
• HolStepデータセットにおける前提選択で最先端の性能を達成し、従来手法を超える分類精度を向上させる。

提案手法

• 各高階論理式を、ノードが論理演算子、述語、関数、変数、定数に対応する有向かつ根付きの構文解析木として表現する。
• 親子関係および束縛関係をエンコードするエッジを持つグラフを構築し、変数名を共通トークン（例：VAR）に置き換えることで、変数名の変更に対して不変となるようにする。
• 各ノードタイプ（例：関数、変数、定数）の学習済み埋め込みを用いてノード埋め込みを初期化し、構造的メッセージパッシングによりエッジ順序情報を保持する。
• グラフニューラルネットワーク（GNN）風のメッセージパッシングを繰り返し実行：各ノードの埋め込みを、近隣ノードの埋め込みの多重集合に基づいて更新し、学習可能な集約メカニズムによりエッジ順序を保持する。
• 全般的な平均プーリングを用いてノード埋め込みをプールし、全式グラフの固定サイズのベクトル表現を生成する。
• HolStepデータセット上で交差エントロピー損失を用いてバックプロパゲーションにより、全モデルをエンドツーエンドで学習し、前提関連性を分類する。

実験結果

リサーチクエスチョン

• RQ1 系列的トークン表現と比較して、高階論理式の構文的・意味的構造をよりよく捉えることができるか？
• RQ2 エッジ順序を保持し、変数名の変更に対して不変である深層グラフ埋め込み手法は、前提選択の精度を向上させるか？
• RQ3 メッセージパッシングステップ数がグラフ埋め込みモデルの性能に与える影響は何か？
• RQ4 モデルは変数名の変更に対してどれほど頑健であり、学習データのバイアスを超えて一般化するか？
• RQ5 グラフベースの埋め込みは、構造的類似性を反映する意味的に整合性のある表現を学習できるか？

主な発見

• 提案されたFormulaNetモデルは、HolStepデータセットで90.3%の分類精度を達成し、先行研究の最高性能（83%）を7.3ポイント上回った。
• 元の変数名を用いたグラフで学習したモデルは、元の検証セットでは89.8%の精度を示したが、変数名が変更された検証セットでは83.5%に低下し、変数名パターンへの過学習が示された。
• 変更された変数名に対しても不変なグラフで学習したモデルは、元のセットおよび変更済みセットの両方で89.9%の精度を維持し、変数名の変更に対して頑健で、一般化能力があることを示した。
• アブレーションスタディの結果、メッセージパッシングステップ数がゼロのモデルでも81.5%の精度を達成しており、ノードレベルの特徴（例：関数名や定数名）が大きく寄与していることが示された。
• メッセージパッシングステップ数が増えるほど性能が向上し、3〜4ステップでピークに達し、それ以上は収益が減少する傾向を示した。これは、局所的グラフ近傍（半径3まで）が、大部分の関連する構造的情報を捉えられることを示唆している。
• t-SNE可視化により、類似した埋め込みを持つノードは、構造的にも意味的にも類似した局所的グラフパターンを持つことが確認され、モデルが意味的で解釈可能な表現を学習できていることが妥当性を確認した。