[论文解读] Identity-aware Graph Neural Networks

Jiaxuan You, Jonathan M. Gomes-Selman+2 more|arXiv (Cornell University)|Jan 25, 2021

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出身份感知图神经网络（ID-GNNs），一种通用框架，通过在消息传递过程中引入节点身份信息，增强消息传递型图神经网络，使其表达能力超越1-魏斯费勒-莱曼（1-WL）测试。通过使用异构消息传递或环计数特征增强，ID-GNNs在节点、边和图属性预测任务中实现最高达40%的准确率提升，尤其在链接预测任务中表现显著，且在图分类基准测试中表现具有竞争力。

ABSTRACT

Message passing Graph Neural Networks (GNNs) provide a powerful modeling framework for relational data. However, the expressive power of existing GNNs is upper-bounded by the 1-Weisfeiler-Lehman (1-WL) graph isomorphism test, which means GNNs that are not able to predict node clustering coefficients and shortest path distances, and cannot differentiate between different d-regular graphs. Here we develop a class of message passing GNNs, named Identity-aware Graph Neural Networks (ID-GNNs), with greater expressive power than the 1-WL test. ID-GNN offers a minimal but powerful solution to limitations of existing GNNs. ID-GNN extends existing GNN architectures by inductively considering nodes' identities during message passing. To embed a given node, ID-GNN first extracts the ego network centered at the node, then conducts rounds of heterogeneous message passing, where different sets of parameters are applied to the center node than to other surrounding nodes in the ego network. We further propose a simplified but faster version of ID-GNN that injects node identity information as augmented node features. Altogether, both versions of ID-GNN represent general extensions of message passing GNNs, where experiments show that transforming existing GNNs to ID-GNNs yields on average 40% accuracy improvement on challenging node, edge, and graph property prediction tasks; 3% accuracy improvement on node and graph classification benchmarks; and 15% ROC AUC improvement on real-world link prediction tasks. Additionally, ID-GNNs demonstrate improved or comparable performance over other task-specific graph networks.

研究动机与目标

• 为解决现有消息传递型图神经网络的根本局限性，即受制于1-WL图同构性测试，无法区分具有相同邻域结构的节点。
• 开发一种通用、归纳性且高效的的消息传递型图神经网络扩展方法，克服此表达能力瓶颈，同时不损失简洁性或可扩展性。
• 使图神经网络能够区分不同大小的d-正则图中的节点、具有相同邻域但最短路径距离不同的节点，以及图分类任务中不同的d-正则图。
• 提供一种实用、即插即用的解决方案，可轻松集成到现有图神经网络架构中，实现成本极低的代码迁移。

提出的方法

• ID-GNNs 提取每个目标节点为中心的自网络，并在迭代消息传递过程中，使中心节点使用与周围节点不同的参数集，从而实现基于身份的表征学习。
• 完整版ID-GNN使用异构消息传递，中心节点与邻居节点使用不同的权重矩阵，使模型能够基于身份区分结构角色。
• 简化版本ID-GNN-Fast通过环计数（即从中心节点出发、长度为各值的环的数量）作为增强节点特征，注入节点身份信息。
• 环计数为每个节点预计算一次，作为捕捉身份相关信息的结构指纹，无需迭代重新训练。
• 该方法保持与标准图神经网络框架的兼容性，可作为现有图神经网络层的即插即用替代品。
• 理论分析表明，ID-GNNs 通过打破原本不可区分的计算图中的对称性，其表达能力超越1-WL测试。

实验结果

研究问题

• RQ1 能否在保持简洁性和高效性的同时，使消息传递型图神经网络的表达能力超越1-WL测试？
• RQ2 如何在不依赖归纳式独热编码的前提下，将节点身份信息归纳式地融入图神经网络的消息传递过程？
• RQ3 是否仅通过最小的架构修改（如中心节点与邻居节点的参数共享差异）即可显著提升图神经网络在1-WL受限模型表现不佳的任务上的性能？
• RQ4 使用环计数进行特征增强是否可作为完整异构消息传递的实用且有效替代方案？
• RQ5 ID-GNNs 是否能在节点、边和图级别预测任务中实现泛化，同时保持强大性能？

主要发现

• 与标准图神经网络相比，ID-GNNs 在具有挑战性的节点、边和图属性预测任务中实现了平均40%的准确率提升。
• 在节点分类和图分类基准测试中，ID-GNNs 相较基线图神经网络准确率提升3%，在多种数据集上均表现出一致增益。
• 在真实世界链接预测任务中，ID-GNNs 在ROC AUC指标上实现15%的提升，凸显其在区分具有相同邻域但路径距离不同的节点方面的优势。
• ID-GNN-Fast变体通过环计数特征，达到与完整异构消息传递版本相当的性能，同时显著更快，且仅需一次性的特征预处理。
• 在图分类任务中，最佳ID-GNN-Full模型在PROTEINS数据集上达到93.0%准确率，MUTAG数据集上达到96.5%，PTC数据集上达到62.5%，优于或匹配如PPGN和GSN等最先进模型。
• ID-GNNs 在性能上优于或至少可与任务特定的、更复杂的架构相媲美，证明其作为通用图神经网络增强方法的通用性与实用性。