[论文解读] GBK-GNN: Gated Bi-Kernel Graph Neural Networks for Modeling Both Homophily and Heterophily

Lun Du, Xiaozhou Shi+5 more|arXiv (Cornell University)|Oct 29, 2021

Advanced Graph Neural Networks被引用 11

一句话总结

本文提出 GBK-GNN，一种新型图神经网络，采用门控双核机制，可同时建模图中的同质性与异质性。通过为相似与不相似的节点对分别学习核函数，并利用选择门动态选择合适的核函数，GBK-GNN 在具有混合同质性-异质性特性的数据集上，显著优于当前最先进（SOTA）的图神经网络模型。

ABSTRACT

Graph Neural Networks (GNNs) are widely used on a variety of graph-based machine learning tasks. For node-level tasks, GNNs have strong power to model the homophily property of graphs (i.e., connected nodes are more similar) while their ability to capture the heterophily property is often doubtful. This is partially caused by the design of the feature transformation with the same kernel for the nodes in the same hop and the followed aggregation operator. One kernel cannot model the similarity and the dissimilarity (i.e., the positive and negative correlation) between node features simultaneously even though we use attention mechanisms like Graph Attention Network (GAT), since the weight calculated by attention is always a positive value. In this paper, we propose a novel GNN model based on a bi-kernel feature transformation and a selection gate. Two kernels capture homophily and heterophily information respectively, and the gate is introduced to select which kernel we should use for the given node pairs. We conduct extensive experiments on various datasets with different homophily-heterophily properties. The experimental results show consistent and significant improvements against state-of-the-art GNN methods.

研究动机与目标

• 解决传统图神经网络在建模同时包含同质性与异质性的图结构时的局限性，特别是在邻居标签模式不一致的局部子图中表现不佳的问题。
• 指出标准图神经网络（如 GCN）在同质性水平混合的节点上表现不佳，原因在于对所有邻居统一应用单一核函数。
• 提出一种可自适应地在同质性优化核函数与异质性优化核函数之间选择的模型，依据节点对之间的相似性进行决策。
• 提升在同质性分布不均匀的图结构上的节点分类性能，包括同质性图与异质性图。
• 证明即使选择门预测不完全准确，模型仍能获得性能增益，从而增强对门预测误差的鲁棒性。

提出的方法

• 引入一种双核特征变换机制，包含两个独立可学习的核函数：一个针对同质性节点对（标签相似），另一个针对异质性节点对（标签不相似）。
• 设计一个可学习的选择门，基于节点的特征与标签相似性，计算节点对为同质性或异质性的概率。
• 在消息传递过程中，利用该门动态关注合适的核函数，实现对每个邻居对的自适应聚合。
• 将最终的节点表示形式化为两个核函数变换后的邻居特征的加权和，权重由选择门决定。
• 使用交叉熵损失进行端到端训练，联合优化核函数与选择门。
• 应用残差连接与归一化层，以稳定训练过程，并提升在多样化图结构上的泛化能力。

实验结果

研究问题

• RQ1 图神经网络能否有效学习到在局部邻域中节点同质性比率差异显著的图中同时存在的同质性与异质性？
• RQ2 在具有混合同质性-异质性模式的图中，门控双核机制是否优于使用单一核函数处理所有邻居对的标准图神经网络？
• RQ3 GBK-GNN 的性能对门预测不准确的鲁棒性如何，尤其是在高度异质性的图中？
• RQ4 所提出的方法是否能在包括强同质性与强异质性图在内的多样化图类型上实现良好泛化？
• RQ5 当节点特征存在缺失或噪声时（如真实世界图中常见的情况），模型是否仍能保持性能增益？

主要发现

• GBK-GNN 在具有不同同质性-异质性特性的多样化数据集上，于节点分类任务中持续且显著优于当前最先进（SOTA）的图神经网络模型。
• 在 Cora 数据集上，GBK-GNN 超过 GCN 及其他 SOTA 模型，尤其在同质性水平混合的节点（NHR 20–80%）上表现更优，而 GCN 在此类节点上的性能急剧下降。
• 在 Texas 与 Cornell 数据集（以高异质性著称）上，GBK-GNN 的节点分类准确率高于所有基线模型，尽管在这些图上的门准确率较低。
• 选择门学习到了有意义的模式：在同质性图中准确率高，在异质性图中达到中等至高准确率，表明其能有效区分同质性与异质性节点对。
• 模型对门预测误差具有鲁棒性：即使门预测不完全准确，整体分类准确率仍因双核函数的互补性而提升。
• 消融实验表明，双核设计与选择门均至关重要；若移除任一组件，性能将出现显著下降。