[论文解读] Improving Graph Neural Network Representations of Logical Formulae with Subgraph Pooling

Maxwell Crouse, Ibrahim Abdelaziz+5 more|arXiv (Cornell University)|Nov 15, 2019

Semantic Web and Ontologies参考文献 41被引用 23

一句话总结

本文提出了一种新颖的图神经网络架构，通过利用子图池化和基于注意力的聚合机制，对DAG结构公式的逻辑公式嵌入进行改进。通过联合建模前提和结论，采用结构感知的节点嵌入与动态池化方法，该方法在一阶（Mizar）和高阶（Holstep）逻辑的命题选择与证明步骤分类任务中均达到当前最先进性能，在大规模理论设置下使E定理证明器的成功率提升了61.6%。

ABSTRACT

Recent advances in the integration of deep learning with automated theorem proving have centered around the representation of logical formulae as inputs to deep learning systems. In particular, there has been a growing interest in adapting structure-aware neural methods to work with the underlying graph representations of logical expressions. While more effective than character and token-level approaches, graph-based methods have often made representational trade-offs that limited their ability to capture key structural properties of their inputs. In this work we propose a novel approach for embedding logical formulae that is designed to overcome the representational limitations of prior approaches. Our architecture works for logics of different expressivity; e.g., first-order and higher-order logic. We evaluate our approach on two standard datasets and show that the proposed architecture achieves state-of-the-art performance on both premise selection and proof step classification.

研究动机与目标

• 为解决现有基于图的方法在逻辑公式表示上的局限性，这些方法未能有效捕捉共享子表达式和变量量化。
• 克服先前方法中前提与结论独立嵌入的问题，从而防止跨公式信息流动。
• 设计一种两阶段GNN架构，首先利用全局结构上下文学习更丰富的节点表示，然后通过结构依赖机制进行池化。
• 通过联合、注意力调节的公式对嵌入，提升命题选择准确率，实现与经典定理证明器的有效集成。
• 通过在一阶（Mizar）和高阶（Holstep）逻辑基准上的评估，证明方法在不同逻辑体系间的泛化能力。

提出的方法

• 该方法采用两阶段架构：首先，应用消息传递GNN（如MPNN、GCN或基于LSTM的模型）生成节点嵌入，这些嵌入不仅包含局部邻域信息，还融合了更广泛的上下文。
• 提出一种新颖的子图池化机制，包括DagPool和AttDagPool，能够根据逻辑公式的底层DAG结构动态聚合节点嵌入。
• 该池化机制通过学习在语义上有意义的子图上进行池化，尊重逻辑子结构（如共享子表达式和量化作用域），从而保留逻辑语义。
• 引入一种局部化的基于注意力的信息交换机制，以调节前提与结论并行嵌入之间的信息流动，实现跨公式上下文的整合。
• 该架构通过在公式DAG表示上操作，支持一阶和高阶逻辑，保持不同形式化体系中的逻辑结构完整性。
• 通过在配对公式（前提-结论或证明步骤-结论）上使用对比学习，对模型进行端到端的微调，用于二分类任务。

实验结果

研究问题

• RQ1 在DAG结构化的逻辑公式上进行子图池化，是否能超越仅依赖局部邻域聚合的GNN表示？
• RQ2 通过注意力调节的信息交换机制联合建模前提与结论，是否能提升命题选择与证明步骤分类的准确率？
• RQ3 所提出的架构是否能在不同逻辑形式体系（如一阶与高阶逻辑）间实现泛化？
• RQ4 将该方法作为前提选择模块集成后，对经典定理证明器（如E）的性能提升程度如何？
• RQ5 在下游性能方面，不同类型的节点嵌入（如MPNN、GCN、LSTM）与不同池化策略（如max、DagPool、AttDagPool）之间有何比较？

主要发现

• 所提方法在Mizar（一阶逻辑）和Holstep（高阶逻辑）数据集上的命题选择与证明步骤分类任务中均达到当前最先进性能。
• 在Mizar数据集上，最佳变体（BidirDagLSTM + AttDagPool）达到81.0%的准确率，显著优于先前工作（如MPNN + MaxPool的76.9%）。
• 在Holstep数据集上，最佳变体达到91.5%的准确率，相较于FormulaNet（90.0%）和CNN-LSTM（83.0%）等先前方法具有统计显著性提升。
• 当作为E定理证明器的前提选择模块集成后，该方法使E成功解决了3,252道问题中的1,484道——比E原生性能（解决918道）高出61.6%，p值 < 0.01。
• 消融实验表明，$ρ^{+}$节点嵌入器与DagPool/AttDagPool池化机制的组合效果最佳，且注意力池化在各数据集上均带来一致性能增益。
• 消融实验显示，将消息传递轮数增加至超过k=2后，性能提升可忽略不计，表明模型在两轮内即已收敛。