[论文解读] Can Graph Neural Networks Count Substructures?

Zhengdao Chen, Lei Chen+2 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Graph Neural Networks参考文献 81被引用 29

一句话总结

本文研究图神经网络（GNNs）在计数带属性子结构方面的能力，区分诱导子图计数与子图计数。研究证明，消息传递神经网络（MPNNs）和2-Weisfeiler-Lehman（2-WL）网络无法计数具有三个或更多节点的连通模式的诱导子图，但可以计数星形子图。作者提出了一种新型架构——局部关系池化（LRP），该架构能有效计数子结构，并在分子预测基准测试中取得具有竞争力的性能。

ABSTRACT

The ability to detect and count certain substructures in graphs is important for solving many tasks on graph-structured data, especially in the contexts of computational chemistry and biology as well as social network analysis. Inspired by this, we propose to study the expressive power of graph neural networks (GNNs) via their ability to count attributed graph substructures, extending recent works that examine their power in graph isomorphism testing and function approximation. We distinguish between two types of substructure counting: induced-subgraph-count and subgraph-count, and establish both positive and negative answers for popular GNN architectures. Specifically, we prove that Message Passing Neural Networks (MPNNs), 2-Weisfeiler-Lehman (2-WL) and 2-Invariant Graph Networks (2-IGNs) cannot perform induced-subgraph-count of substructures consisting of 3 or more nodes, while they can perform subgraph-count of star-shaped substructures. As an intermediary step, we prove that 2-WL and 2-IGNs are equivalent in distinguishing non-isomorphic graphs, partly answering an open problem raised in Maron et al. (2019). We also prove positive results for k-WL and k-IGNs as well as negative results for k-WL with a finite number of iterations. We then conduct experiments that support the theoretical results for MPNNs and 2-IGNs. Moreover, motivated by substructure counting and inspired by Murphy et al. (2019), we propose the Local Relational Pooling model and demonstrate that it is not only effective for substructure counting but also able to achieve competitive performance on molecular prediction tasks.

研究动机与目标

• 通过理解GNNs在计数带属性子结构方面的能力，来探究其表达能力，该任务在化学和生物学等现实应用中具有重要意义。
• 正式区分GNN架构在诱导子图计数与子图计数方面的能力。
• 识别出MPNNs和2-IGN等流行GNNs在计数复杂子结构方面的根本局限性。
• 提出一种新架构——局部关系池化（LRP），受子结构计数启发，以克服这些局限性。
• 通过在分子图基准上的实证实验验证理论发现。

提出的方法

• 通过图构造技术进行理论分析，构建出非同构图对，这些图对在MPNNs和2-WL下不可区分，但在诱导子图计数上存在差异。
• 论文形式化定义了两种子结构计数类型：诱导子图计数与子图计数，同时考虑节点和边特征。
• 证明2-WL与2-IGN在区分非同构图方面具有等价性，从而部分解决了文献中的一个开放问题。
• 提出一种新型GNN架构——局部关系池化（LRP），该架构在局部子图模式上执行消息传递，并聚合关系特征。
• LRP使用N2P（节点到模式）、E2P（边到模式）和Ppl（对模式进行池化）操作来编码子结构计数。
• 在ogbg-molhiv、QM9和ZINC数据集上进行实验，采用标准划分和评估指标，LRP模型使用早停法和权重学习率调度进行训练。

实验结果

研究问题

• RQ1 MPNNs和2-WL GNNs能否计数具有三个或更多节点的连通模式的诱导子图？
• RQ2 MPNNs和2-IGNs能否计数星形模式的子图？
• RQ3 k-WL和k-IGN架构能否对更大模式实现子结构计数？
• RQ4 能否设计一种GNN架构，使其能有效计数子结构并泛化到分子预测任务？
• RQ5 所提出的局部关系池化模型在实证性能上与现有GNNs相比如何？

主要发现

• 通过构造在诱导子图计数上不同的不可区分图对，证明了MPNNs和2-IGNs无法计数任何具有三个或更多节点的连通模式的诱导子图。
• MPNNs和2-IGNs能够成功计数星形模式的子图，将先前结果推广至包含节点和边特征的情形。
• 2-WL与2-IGN在区分非同构图方面具有等价性，为文献中的一个开放问题提供了部分解答。
• k-WL与k-IGN架构能够对更大模式实现子结构计数，但具有有限迭代次数的k-WL无法实现通用子图计数。
• 所提出的局部关系池化（LRP）模型在ogbg-molhiv和ZINC基准测试中取得了具有竞争力的性能，其中Deep LRP-7-1在ZINC上的MAE达到0.223，优于具有相似参数量的基线模型。
• LRP-1-3（ES）在20个周期训练下取得的泛化性能优于100个周期版本，表明早停法可有效缓解在骨架划分数据上的过拟合。