[论文解读] A Hierarchy of Graph Neural Networks Based on Learnable Local Features

Michael Lingzhi Li, Dong Meng+2 more|arXiv (Cornell University)|Nov 13, 2019

Advanced Graph Neural Networks参考文献 34被引用 7

一句话总结

该论文提出了一种基于可学习局部特征的图神经网络（GNN）理论层级结构，其中GNN根据其聚合区域——目标节点的邻近子图（超越直接邻居）——进行分类，从而实现对更强大模型的系统性构建。该框架证明，对高阶子图进行聚合的GNN可超越1-WL同构性测试的判别能力，实证结果表明其在节点和图分类任务中表现更优，尤其在捕捉三角形等结构特性方面表现突出。

ABSTRACT

Graph neural networks (GNNs) are a powerful tool to learn representations on graphs by iteratively aggregating features from node neighbourhoods. Many variant models have been proposed, but there is limited understanding on both how to compare different architectures and how to construct GNNs systematically. Here, we propose a hierarchy of GNNs based on their aggregation regions. We derive theoretical results about the discriminative power and feature representation capabilities of each class. Then, we show how this framework can be utilized to systematically construct arbitrarily powerful GNNs. As an example, we construct a simple architecture that exceeds the expressiveness of the Weisfeiler-Lehman graph isomorphism test. We empirically validate our theory on both synthetic and real-world benchmarks, and demonstrate our example's theoretical power translates to strong results on node classification, graph classification, and graph regression tasks.

研究动机与目标

• 为解决GNN架构设计与比较中缺乏系统性理解的问题。
• 形式化基于其聚合区域（超越直接邻域）的GNN层级结构。
• 构建具有任意高判别能力的GNN，超越Weisfeiler-Lehman（1-WL）测试。
• 通过实证验证，该层级结构中的模型在真实世界与合成基准上优于标准GNN。
• 证明如三角形计数等结构不变量仅能通过高阶聚合区域学习到。

提出的方法

• 提出一种按其聚合区域分类的GNN层级结构，定义为包含目标节点的子图，并在温和的结构约束下进行定义。
• 引入两种关键聚合类型：L1（包含三角形的局部1跳子图）和D2（基于2跳度的子图），并推广至更高阶区域。
• 推导出判别能力的理论边界，表明仅聚合直接邻居的GNN无法学习邻域中的三角形计数。
• 以Weisfeiler-Lehman（WL）同构性测试作为基准，比较表达能力，证明该层级结构可生成任意强大的GNN。
• 构建一个简单的1层GNN（GCN-L1），使用L1区域，其表达能力超越1-WL，且无需深层堆叠。
• 采用1层感知机组合函数以提高效率并保证公平比较，通过节点度进行归一化以增强稳定性。

实验结果

研究问题

• RQ1 是否能通过在超越直接邻居的子图上进行聚合，使GNN的判别能力超越仅限于1跳邻域的GNN？
• RQ2 是否存在一种系统性方法，基于其聚合区域对GNN架构进行分类与构建，以逐步提升其性能？
• RQ3 所提出的层级结构能否生成超越1-WL图同构性测试表达能力的GNN？
• RQ4 使用高阶聚合区域（如捕捉三角形的区域）构建的模型，是否能在真实世界图学习任务中取得更优性能？
• RQ5 将聚合区域从直接邻居扩展至L1和D2子图，对节点和图分类任务的实证影响如何？

主要发现

• GCN-L1（在L1子图上聚合，包含三角形）在Cora数据集上达到82.5±0.3的测试准确率，优于标准GCN（80.6±1.4），并匹配或超越其他最先进模型。
• GCN-D2（使用D2聚合区域）在Cora上达到82.9±1.0，在MUTAG上达到87.8±5.6，显著优于GCN，且与GIN和GAT相比表现具有竞争力。
• 在QM7b回归任务中，GCN-L1实现52.4±4.3的MSE，显著优于GCN的104.3±15.6 MSE，表明回归性能显著提升。
• 在QM9上，GCN-D2实现72.5±13.0 MSE，优于GCN的160.2±15.4 MSE，表明其在分子图回归任务中具有强大泛化能力。
• 从L1到D2的性能提升微小，表明大部分收益来自首次阶扩展（L1），验证了层级结构的完备性，如定理1所示。
• 该框架将现有模型（如GCN、GAT、N-GCN）统一于单一理论层级中，表明其表达能力受限于直接邻居的聚合。