[论文解读] A Survey on The Expressive Power of Graph Neural Networks

Ryoma Sato|arXiv (Cornell University)|Mar 9, 2020

Advanced Graph Neural Networks参考文献 91被引用 84

一句话总结

本综述分析图神经网络（GNN）的表达能力、通过 WL 测试揭示的局限性，以及包括 GINs、k-GNNs 和高阶不变量/协变 GNNs 在内的可证明强大变体。

ABSTRACT

Graph neural networks (GNNs) are effective machine learning models for various graph learning problems. Despite their empirical successes, the theoretical limitations of GNNs have been revealed recently. Consequently, many GNN models have been proposed to overcome these limitations. In this survey, we provide a comprehensive overview of the expressive power of GNNs and provably powerful variants of GNNs.

研究动机与目标

• 评估 GNN 在节点和图分类任务中能够区分的图的类型。
• 解释 GNN 与 Weisfeiler–Lehman (WL) 算法之间的关系。
• 回顾能够克服标准 GNN 局限性的可证明强大变体。
• 突出 GNN、WL 与分布式局部算法之间的 XS 对应关系。

提出的方法

• 描述 GNN 的标准消息传递表示及其在区分图方面的局限性。
• 介绍 1-WL 和 k-WL 算法及它们与 GNN 的关系。
• 给出 Graph Isomorphism Networks (GINs) 作为可注入聚合器以实现 1-WL 能力。
• 讨论高阶 GNN（k-GNNs）及其与 set k-WL 与 k-FWL 的关系。
• 概述高阶不变/协变网络及其普遍性特性。
• 解释高阶结构如何实现相对于置换群的普遍性。

实验结果

研究问题

• RQ1 原生 GNNs 能区分哪些图，以及固有的局限性是什么？
• RQ2 就表达能力而言，GNN 与 WL 算法之间的关系为何？
• RQ3 哪些结构或变体可以使 GNN 在图同构任务中与 WL（及更高）一样强大？
• RQ4 高阶或不变/协变 GNN 的权衡（如内存）及其实用性是什么？

主要发现

• 原生消息传递 GNN 的表达能力不超过 1-WL 算法。
• 通过使用注入聚合，GINs 可以达到 1-WL 的表达能力。
• 基于 set k-WL 的 k-GNNs 可以匹配 set k-WL，具有更高的能力但需要更多内存。
• 高阶不变/协变网络提供普遍性结果，能够在不依赖节点数的情况下建模不变/协变函数。
• 存在一个层级：1-WL ≈ 2-WL；k-WL 扩展了 WL 的能力，k-GNNs 实现 set k-WL 的能力，但有实践权衡。