[论文解读] Generalizing Graph Neural Networks Beyond Homophily.

Jiong Zhu, Yujun Yan+4 more|arXiv (Cornell University)|Jun 20, 2020

Advanced Graph Neural Networks参考文献 16被引用 11

一句话总结

本文提出H2GCN，一种图神经网络架构，旨在克服现有GNN在异配性（heterophily）设置下的局限性——即相连节点通常具有不同标签或特征。通过整合自体-邻居表征分离、高阶邻域聚合以及中间表征融合，H2GCN在低至高异配性谱系中均表现出色，优于标准GNN和忽略结构的模型（如MLP）。

ABSTRACT

We investigate the representation power of graph neural networks in the semi-supervised node classification task under heterophily or low homophily, i.e., in networks where connected nodes may have different class labels and dissimilar features. Most existing GNNs fail to generalize to this setting, and are even outperformed by models that ignore the graph structure (e.g., multilayer perceptrons). Motivated by this limitation, we identify a set of key designs -- ego- and neighbor-embedding separation, higher-order neighborhoods, and combination of intermediate representations -- that boost learning from the graph structure under heterophily, and combine them into a new graph convolutional neural network, H2GCN. Going beyond the traditional benchmarks with strong homophily, our empirical analysis on synthetic and real networks shows that, thanks to the identified designs, H2GCN has consistently strong performance across the full spectrum of low-to-high homophily, unlike competitive prior models without them.

研究动机与目标

• 为解决现有GNN在低异配性或异配性设置下泛化能力差的问题，其中相连节点常具有不同标签。
• 识别增强GNN在异配性条件下学习图结构能力的关键架构组件。
• 开发一种新型GNN模型H2GCN，使其在全谱系异配性水平下均保持强性能。
• 证明H2GCN在低异配性环境下优于标准GNN和忽略结构的模型（如MLP）。

提出的方法

• H2GCN在消息传递过程中将自体节点与邻居的表征分离，从而在异配性环境中实现更精细的学习。
• 其采用高阶邻域聚合机制，捕捉超越直接邻居的结构模式，提升在多样化图拓扑中的鲁棒性。
• 通过融合多层中间表征，增强特征表达能力与泛化性能。
• 采用改进的图卷积机制，解耦自体与邻居特征学习，使模型能更好地适应连接节点差异较大的情况。
• 架构中集成跳跃连接与残差学习，以稳定训练并改善梯度流动。
• 最终的预测头结合多层表征，以提升节点分类性能。

实验结果

研究问题

• RQ1 现有GNN能否在低异配性或异配性设置下有效泛化，其中相连节点常具有不同标签？
• RQ2 哪些架构组件对于使GNN在异配性条件下学习有意义表征至关重要？
• RQ3 H2GCN的设计——特别是自体-邻居分离与高阶邻域聚合——如何提升其在不同异配性水平下的性能？
• RQ4 H2GCN是否在低异配性场景下优于标准GNN和忽略结构的模型（如MLP）？
• RQ5 所提出的组件能否整合为单一架构，在全谱系异配性水平下实现良好泛化？

主要发现

• H2GCN在从低到高的全谱系异配性水平中均保持一致的强性能，而以往模型在低异配性环境下性能会下降。
• 在低异配性设置中，H2GCN优于标准GNN，甚至优于忽略图结构的多层感知机（MLP）。
• 消融实验确认，自体-邻居表征分离、高阶邻域结构与中间表征融合均为实现异配性下鲁棒性能的关键因素。
• H2GCN在具有不同异配性程度的合成网络与真实世界网络中均保持高性能，证明其泛化能力超越传统基准。
• 该模型设计使GNN能有效从图结构中学习，即使边两端节点的特征与标签差异显著，而此类场景正是大多数GNN失效的区域。