[论文解读] How hard is to distinguish graphs with graph neural networks?

Andreas Loukas|arXiv (Cornell University)|May 13, 2020

Advanced Graph Neural Networks参考文献 51被引用 12

一句话总结

本文引入通信容量作为消息传递神经网络（MPNNs）中信息交换的度量，表明区分图结构需要MPNN的通信容量在线性（树结构）和二次（一般连通图）之间增长。理论边界经12项任务和420个网络的实证验证，显示理论预测与实际性能高度一致，为MPNN表达能力提供了比以往工作更紧密、更具普适性的限制。

ABSTRACT

A hallmark of graph neural networks is their ability to distinguish the isomorphism class of their inputs. This study derives hardness results for the classification variant of graph isomorphism in the message-passing model (MPNN). MPNN encompasses the majority of graph neural networks used today and is universal when nodes are given unique features. The analysis relies on the introduced measure of communication capacity. Capacity measures how much information the nodes of a network can exchange during the forward pass and depends on the depth, message-size, global state, and width of the architecture. It is shown that the capacity of MPNN needs to grow linearly with the number of nodes so that a network can distinguish trees and quadratically for general connected graphs. The derived bounds concern both worst- and average-case behavior and apply to networks with/without unique features and adaptive architecture -- they are also up to two orders of magnitude tighter than those given by simpler arguments. An empirical study involving 12 graph classification tasks and 420 networks reveals strong alignment between actual performance and theoretical predictions.

研究动机与目标

• 理解MPNN在区分图同构类方面的基本限制。
• 开发一种通用且紧密的MPNN信息交换容量度量，涵盖深度、宽度、消息大小和全局状态。
• 为图同构分类建立硬度结果，适用于匿名与非匿名MPNN，包括自适应架构。
• 通过在12项图分类任务上的实证结果，弥合理论与实践之间的鸿沟。

提出的方法

• 引入通信容量作为MPNN前向传播期间总信息交换的度量，其依赖于深度、宽度、消息大小和图的割结构。
• 应用通信复杂性理论，推导出确定图同构类所需信息的下界。
• 采用一种新方法，推导出不仅在最坏情况下成立，且在输入分布期望下也成立的边界。
• 通过在12项图分类任务中对420个MPNN进行实证评估，检验理论容量与实际性能之间的对齐程度。
• 利用信息论引理，推导出通信容量与同构性测试错误概率之间的不等式关系。
• 通过考虑全局状态和自适应架构，推广先前结果，使边界适用于现代MPNN变体。

实验结果

研究问题

• RQ1 MPNN区分树结构所需的最小通信容量是多少？
• RQ2 MPNN区分一般连通图所需的最小通信容量是多少？
• RQ3 理论边界在多样化的图分类任务中与MPNN实际性能相比如何？
• RQ4 通信复杂性理论能否为MPNN表达能力提供比先前方法更紧密、更通用的边界？
• RQ5 所需容量是否随节点数线性或二次增长？这一结论在平均输入分布下是否成立？

主要发现

• MPNN区分树结构需要通信容量随节点数线性增长，且该边界在最坏情况和平均情况输入下均成立。
• 对于一般连通图，MPNN的容量必须随节点数二次增长，才能确保同构性区分。
• 推导出的边界比基于简单参数（如深度-宽度乘积分析）的边界更紧密，可达两个数量级。
• 实证结果表明，12项图分类任务和420个训练网络中，理论通信容量预测与实际测试准确率高度一致。
• 该框架普遍适用于具有或不具有唯一节点特征、全局状态和自适应架构的MPNN。
• 分析表明，容量需求不仅在最坏情况下必要，且在自然输入分布下也以高概率成立。