[论文解读] Graph Neural Networks with Heterophily

Jiong Zhu, Ryan A. Rossi+5 more|arXiv (Cornell University)|Sep 28, 2020

Advanced Graph Neural Networks被引用 9

一句话总结

该论文提出CPGNN，一种新型图神经网络框架，通过学习可解释的兼容性矩阵来建模类别级别的连接可能性，从而将GNN推广至同质图和异质图。该方法在异质性设置下实现了最先进性能，且对节点特征的依赖极低，在低数据和无特征场景下优于以往的GNN，在同质性设置下也保持了强劲表现。

ABSTRACT

Graph Neural Networks (GNNs) have proven to be useful for many different practical applications. However, many existing GNN models have implicitly assumed homophily among the nodes connected in the graph, and therefore have largely overlooked the important setting of heterophily, where most connected nodes are from different classes. In this work, we propose a novel framework called CPGNN that generalizes GNNs for graphs with either homophily or heterophily. The proposed framework incorporates an interpretable compatibility matrix for modeling the heterophily or homophily level in the graph, which can be learned in an end-to-end fashion, enabling it to go beyond the assumption of strong homophily. Theoretically, we show that replacing the compatibility matrix in our framework with the identity (which represents pure homophily) reduces to GCN. Our extensive experiments demonstrate the effectiveness of our approach in more realistic and challenging experimental settings with significantly less training data compared to previous works: CPGNN variants achieve state-of-the-art results in heterophily settings with or without contextual node features, while maintaining comparable performance in homophily settings.

研究动机与目标

• 为解决现有GNN隐含假设同质性（即相连节点属于同一类别）的局限性，该假设在具有异质性的现实图中会损害性能。
• 降低对上下文节点特征的依赖，因为实际应用中这些特征常缺失或不完整。
• 实现端到端学习类别兼容性矩阵，以捕捉图中同质性和异质性模式。
• 提供一种可解释且可泛化的框架，增强GNN在同质图和异质图结构中的表现。

提出的方法

• CPGNN引入一个可学习的兼容性矩阵 $\mathbf{H}$，用于建模不同类别节点之间连接的可能性，使模型能够适应同质性和异质性。
• 该框架使用现成的神经网络生成节点的初始信念估计，并通过学习到的 $\mathbf{H}$ 矩阵在图中传播这些信念。
• 节点表示通过消息传递机制更新，每个节点聚合来自邻居的信念，权重由兼容性矩阵的条目决定。
• 兼容性矩阵 $\mathbf{H}$ 与模型其余部分进行端到端联合训练，使其即使在训练数据有限的情况下也能恢复潜在的连接模式。
• 该方法泛化了GCN：当 $\mathbf{H}$ 设为单位矩阵（即纯同质性）时，CPGNN退化为GCN。
• 该框架支持特征丰富和无特征设置，使其在现实中的低数据场景下具有鲁棒性。

实验结果

研究问题

• RQ1 能否在不依赖强同质性假设的前提下，将GNN框架泛化以同时处理同质图和异质图？
• RQ2 端到端学习的兼容性矩阵在建模现实图中复杂节点连接模式方面的有效性如何？
• RQ3 CPGNN是否能在现有GNN失效的低数据和无特征设置下保持强劲性能？
• RQ4 所学习的兼容性矩阵在多大程度上能为图的结构特性提供可解释的洞见？

主要发现

• CPGNN在异质性设置下实现了最先进性能，即使训练样本显著少于以往工作。
• 在同质性设置下，该模型保持了与基线GNN相当的性能，证明了其泛化能力。
• 在无特征设置下，CPGNN通过利用学习到的兼容性矩阵推断结构模式，优于现有GNN，无需依赖节点特征。
• 兼容性矩阵 $\mathbf{H}$ 具有可解释性：热力图显示其条目在训练过程中趋于稳定，并与真实连接模式对齐。
• 当 $\mathbf{H}$ 设为单位矩阵时，CPGNN退化为GCN，验证了其与现有GNN的理论一致性。
• 大量实验表明，$\mathbf{H}$ 的端到端学习使模型即使在数据有限的情况下也能恢复潜在的兼容性信息。