[論文レビュー] Improving Graph Neural Network Representations of Logical Formulae with Subgraph Pooling

Maxwell Crouse, Ibrahim Abdelaziz+5 more|arXiv (Cornell University)|Nov 15, 2019

Semantic Web and Ontologies参考文献 41被引用数 23

ひとこと要約

本論文は、DAG構造をとる論理式における部分グラフプーリングと注目メカニズムに基づく集約を活用することで、論理式埋め込みを向上させる新しいグラフニューラルネットワークアーキテクチャを提案する。構造に配慮したノード埋め込みと動的プーリングを用いて前提と予想を同時にモデリングすることで、一階論理（Mizar）および高階論理（Holstep）の両方において、前提選択および証明手順分類の分野で最先端の性能を達成し、大規模理論設定下でE定理プローバーの成功確率を61.6%も向上させた。

ABSTRACT

Recent advances in the integration of deep learning with automated theorem proving have centered around the representation of logical formulae as inputs to deep learning systems. In particular, there has been a growing interest in adapting structure-aware neural methods to work with the underlying graph representations of logical expressions. While more effective than character and token-level approaches, graph-based methods have often made representational trade-offs that limited their ability to capture key structural properties of their inputs. In this work we propose a novel approach for embedding logical formulae that is designed to overcome the representational limitations of prior approaches. Our architecture works for logics of different expressivity; e.g., first-order and higher-order logic. We evaluate our approach on two standard datasets and show that the proposed architecture achieves state-of-the-art performance on both premise selection and proof step classification.

研究の動機と目的

• 既存のグラフベース手法における表現上の制限を解消し、共有部分式や変数の量化を効果的に捉えることができない点に取り組む。
• 従来の手法が前提と予想を独立して埋め込みを行うため、論理式間の情報伝達が妨げられる問題を克服する。
• まず、グローバルな構造的文脈を活用して豊かなノード表現を学習し、次に構造依存のメカニズムを用いてプールする二段階のGNNアーキテクチャを設計する。
• 前提選択の精度を向上させることで、古典的定理プローバーとの有効な統合を可能にするため、公式ペairの共同的で注目制御された埋め込みを実現する。
• 一階論理（Mizar）と高階論理（Holstep）の両方のベンチマークで評価することで、論理形式を超えた一般化の可能性を示す。

提案手法

• 本手法は二段階のアーキテクチャを採用する。まず、局所的近傍情報だけでなく、より広範な文脈を組み込んだノード埋め込みを生成するため、メッセージパッシングGNN（例：MPNN、GCN、LSTMベース）を適用する。
• 論理式のDAG構造に基づいて動的かつ意味的に意味のある部分グラフに集約する、DagPoolおよびAttDagPoolを含む、新たな部分グラフプーリング機構を導入する。
• 共有部分式や量化スコープといった論理的構造を尊重するように設計され、意味的に意味のある部分グラフ上でプールを学習する。
• 前提と予想の並列的埋め込み間の情報伝達を制御する局所的注目ベースの交換メカニズムを導入し、論理式間の文脈統合を可能にする。
• 論理式のDAG表現上で動作するため、一階論理と高階論理の両方をサポートし、異なる形式論理でも論理的構造を保持する。
• 対になった公式（前提-予想、または証明手順-予想）を用いた対照的学習により、二値分類タスクに対してエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 DAG構造をとる論理式に対して部分グラフプーリングを適用することで、局所的近傍集約を超えたGNN表現が向上するか？
• RQ2 注目制御された情報交換により、前提と予想を共同でモデリングすることで、前提選択および証明手順分類の精度が向上するか？
• RQ3 提案されたアーキテクチャは、一階論理と高階論理といった異なる論理形式に一般化可能か？
• RQ4 この手法を古典的定理プローバー（例：E）の前提選択モジュールとして統合した場合、性能はどの程度向上するか？
• RQ5 MPNN、GCN、LSTMなどの異なるノード埋め込みタイプと、max、DagPool、AttDagPoolなどのプーリング戦略は、下流タスクのパフォーマンスにおいてどのように比較されるか？

主な発見

• 提案手法は、Mizar（一階論理）およびHolstep（高階論理）の両データセットにおいて、前提選択および証明手順分類で最先端の性能を達成した。
• Mizarデータセットでは、最良のバリエーション（BidirDagLSTM + AttDagPool）が81.0%の精度を達成し、先行研究（例：MPNN + MaxPool で76.9%）を顕著に上回った。
• Holstepデータセットでは、最良のバリエーションが91.5%の精度に達し、FormulaNet（90.0%）やCNN-LSTM（83.0%）といった先行手法よりも統計的に有意な改善を示した。
• E定理プローバーの前提選択モジュールとして統合した結果、3,252問中1,484問を解決した（Eのネイティブ性能918問を基準に61.6%の向上）、p値 < 0.01。
• アブレーションスタディにより、$ρ^{+}$ ノード埋め込みとDagPool/AttDagPoolプーリングの組み合わせが最良の結果をもたらし、注目ベースのプーリングが両データセットで一貫した向上をもたらした。
• アブレーションスタディの結果、k=2を超えてメッセージパッシングのラウンド数を増やしてもパフォーマンス向上がほとんど得られず、2ラウンドで収束していることが示された。