[论文解读] Decidability of Graph Neural Networks via Logical Characterizations

Michael Benedikt, Chia-Hsuan Lu+1 more|arXiv (Cornell University)|Jan 1, 2024

Bayesian Modeling and Causal Inference被引用 1

一句话总结

本文通过使用带有 Presburger 量词的可判定逻辑，对图神经网络（GNNs）建立了逻辑表征，实现了精确的表达能力比较，并使验证问题具有可判定性。研究证明，具有有界激活函数（如截断 ReLU）的 GNN 可被这些逻辑精确表征，其验证复杂度为 PSPACE 完全；而基于 ReLU 的 GNN 在某些验证任务中表现出不可判定性。

ABSTRACT

We present results concerning the expressiveness and decidability of a popular graph learning formalism, graph neural networks (GNNs), exploiting connections with logic. We use a family of recently-discovered decidable logics involving "Presburger quantifiers". We show how to use these logics to measure the expressiveness of classes of GNNs, in some cases getting exact correspondences between the expressiveness of logics and GNNs. We also employ the logics, and the techniques used to analyze them, to obtain decision procedures for verification problems over GNNs. We complement this with undecidability results for static analysis problems involving the logics, as well as for GNN verification problems.

研究动机与目标

• 提供超越一阶逻辑的统一逻辑表征，以捕捉所有可计算函数的 GNN 表达能力。
• 利用可判定的 Presburger 逻辑，建立具有有界激活函数的 GNN 验证问题的可判定性。
• 将结果从无向图扩展至有向图，证明在方向性存在下，逻辑表征依然稳健。
• 分析激活函数（特别是有界函数，如截断 ReLU；与无界函数，如 ReLU）对表达能力和可判定性的影响。
• 识别出在具有无界特征和通用激活函数的 GNN 中，逻辑表征与验证复杂度方面的开放问题。

提出的方法

• 使用一族带有 Presburger 量词的可判定逻辑，以表征 GNN 的表达能力。
• 构建一种 GNN 架构，通过特征向量和聚合函数模拟这些逻辑中公式的求值过程。
• 设计一种基于树的结构 T(t,a)，通过星高度进行归纳，模拟公式的求值过程，其中特征向量编码真值和中间结果。
• 将 GNN 验证问题约化为底层逻辑中的可满足性问题，利用逻辑的可判定性实现验证。
• 应用逻辑中的证明技术（如基于星高度的归纳法和逐分量的特征追踪）分析 GNN 的行为。
• 使用自动机理论与代数技术（如半线性集）建模具有无界值的 GNN 中的特征传播与激活行为。

实验结果

研究问题

• RQ1 能否使用可判定逻辑精确表征具有有界激活函数的 GNN 所能计算的全部函数类？
• RQ2 具有局部聚合和截断 ReLU 激活函数的 GNN 的验证复杂度是多少？其是否可判定？
• RQ3 当从有界激活函数（如 ReLU）转向无界激活函数时，GNN 的表达能力与可判定性特性如何变化？
• RQ4 GNN 的逻辑表征与可判定性结果在多大程度上依赖于图的方向性或无向性？
• RQ5 用于有界 GNN 的技术能否扩展至具有无界整数特征的 GNN？其带来的复杂度与可判定性权衡如何？

主要发现

• 具有截断 ReLU 激活函数和局部聚合的 GNN 可被带有 Presburger 量词的可判定逻辑精确表征，从而实现精确的表达能力分析。
• 具有截断 ReLU 和局部聚合的 GNN 的可满足性问题是 PSPACE 完全的，当层数固定时，其复杂度为 NP 完全。
• 具有 ReLU 激活函数的 GNN 的验证问题在一般情况下是不可判定的，即使在简单的分类任务中也是如此。
• 逻辑表征方法在有向图中依然有效，且结果可通过结构等价性推广至无向图。
• 已识别出可被基于 ReLU 的 GNN 表达的逻辑公式类，但其精确表征仍为开放问题。
• 逻辑分析技术，特别是针对 Presburger 逻辑的技术，可直接应用于 GNN 验证，从而在有界情况下实现可判定性。