[论文解读] Fine-grained Expressivity of Graph Neural Networks

Jan Böker, Ron Levie+3 more|arXiv (Cornell University)|Jun 6, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出了一种基于图翁（graphons）的连续、拓扑框架，用于以度量方式精细刻画消息传递图神经网络（MPNNs）的表达能力，将一维Weisfeiler–Leman（1-WL）测试扩展为一种细粒度的、基于度量的表征方法。该研究建立了MPNN输出相似性、树距离与同态密度之间的等价关系，证明MPNN区分图的能力可被这些连续度量完全捕捉，且未训练的MPNN在图分类任务中已展现出具有竞争力的性能。

ABSTRACT

Numerous recent works have analyzed the expressive power of message-passing graph neural networks (MPNNs), primarily utilizing combinatorial techniques such as the $1$-dimensional Weisfeiler-Leman test ($1$-WL) for the graph isomorphism problem. However, the graph isomorphism objective is inherently binary, not giving insights into the degree of similarity between two given graphs. This work resolves this issue by considering continuous extensions of both $1$-WL and MPNNs to graphons. Concretely, we show that the continuous variant of $1$-WL delivers an accurate topological characterization of the expressive power of MPNNs on graphons, revealing which graphs these networks can distinguish and the level of difficulty in separating them. We identify the finest topology where MPNNs separate points and prove a universal approximation theorem. Consequently, we provide a theoretical framework for graph and graphon similarity combining various topological variants of classical characterizations of the $1$-WL. In particular, we characterize the expressive power of MPNNs in terms of the tree distance, which is a graph distance based on the concept of fractional isomorphisms, and substructure counts via tree homomorphisms, showing that these concepts have the same expressive power as the $1$-WL and MPNNs on graphons. Empirically, we validate our theoretical findings by showing that randomly initialized MPNNs, without training, exhibit competitive performance compared to their trained counterparts. Moreover, we evaluate different MPNN architectures based on their ability to preserve graph distances, highlighting the significance of our continuous $1$-WL test in understanding MPNNs' expressivity.

研究动机与目标

• 为解决二值图同构在衡量MPNN表达能力时的局限性，提出一种基于连续度量的图相似性表征方法。
• 通过1-WL测试的拓扑变体，形式化MPNN在图翁上的表达能力。
• 通过树同态建立MPNN输出相似性、树距离与子结构计数之间的等价关系。
• 在图翁背景下，为MPNN提供一个通用逼近定理。
• 通过实证验证理论推导的度量，表明未训练的MPNN在图级预测任务中表现具有竞争力。

提出的方法

• 通过迭代度量和紧算子，将1-WL测试扩展至图翁。
• 引入两种连续度量δ_P（Prokhorov）和δ_W（非平衡Wasserstein），用于度量迭代度量的拓扑结构。
• 证明：当且仅当所有有界Lipschitz常数和层数的MPNN产生相近输出时，两个图翁在δ_P或δ_W下彼此接近。
• 将度量与树距离δ_T□及树同态密度相联系，证明其在表达能力上等价。
• 利用分数同构与图翁极限理论，推导出MPNN的通用逼近结果。
• 在标准图基准上实证评估未训练MPNN的性能，并与训练后模型进行比较。

实验结果

研究问题

• RQ1 如何在超越二值同构的背景下，以连续、细粒度的方式表征MPNN的表达能力？
• RQ2 MPNN在何种最细粒度的拓扑中能分离图翁，这与经典1-WL及图翁结构有何关联？
• RQ3 基于MPNN输出、树距离与树同态密度的度量，在表征图翁上MPNN表达能力方面是否等价？
• RQ4 未训练的MPNN能否在图分类任务中实现具有竞争力的性能，这对其内在表征能力有何启示？
• RQ5 所提出的连续度量δ_P与δ_W与现有图距离（如WL距离）在实际分类任务中的表现如何比较？

主要发现

• 所提出的度量δ_P与δ_W对所有有界Lipschitz常数和层数的MPNN而言，与树距离δ_T□及MPNN输出相似性等价。
• 未训练的MPNN在图级预测任务中表现具有竞争力（如在Mutag数据集上达到81.78% ± 3.29），表明其初始权重已编码有意义的结构信息。
• MPNN嵌入之间的欧氏距离可作为δ_P与δ_W的高效下界，其计算成本远低于直接计算距离。
• 使用δ_W的1-NN分类器在Mutag上达到87.89% ± 4.11准确率，在Imdb-Binary上达到66.50% ± 4.15，与WL距离（91.1% ± 4.3和69.4% ± 3.9）表现相当。
• 增加层数初期可提升未训练MPNN的性能，但随后性能下降，表明存在最优深度以实现结构表征。
• 理论框架为图翁上的MPNN提供了通用逼近定理，表明其表达能力可被连续1-WL测试完全刻画。