[论文解读] Label-Wise Graph Convolutional Network for Heterophilic Graphs

Enyan Dai, Zhou, Shijie+2 more|arXiv (Cornell University)|Oct 15, 2021

Advanced Graph Neural Networks参考文献 32被引用 5

一句话总结

该论文提出了一种新型图神经网络框架——标签级图卷积网络（LW-GCN），通过标签级消息传递来保留异配性邻域上下文，从而在异配性和同配性图上均实现有效的节点分类。该方法结合伪标签预测器与双层优化，自动在标签级GNN与标准GNN之间进行选择，无需事先了解同配性水平，在多种图类型上均实现了最先进性能。

ABSTRACT

Graph Neural Networks (GNNs) have achieved remarkable performance in modeling graphs for various applications. However, most existing GNNs assume the graphs exhibit strong homophily in node labels, i.e., nodes with similar labels are connected in the graphs. They fail to generalize to heterophilic graphs where linked nodes may have dissimilar labels and attributes. Therefore, in this paper, we investigate a novel framework that performs well on graphs with either homophily or heterophily. More specifically, we propose a label-wise message passing mechanism to avoid the negative effects caused by aggregating dissimilar node representations and preserve the heterophilic contexts for representation learning. We further propose a bi-level optimization method to automatically select the model for graphs with homophily/heterophily. Theoretical analysis and extensive experiments demonstrate the effectiveness of our proposed framework for node classification on both homophilic and heterophilic graphs.

研究动机与目标

• 解决现有GNN因隐含的同配性假设而无法在异配性图上有效工作的局限性。
• 通过按标签分别聚合邻居，保留具有判别性的异配性邻域上下文。
• 在初始标签缺失的稀疏标签图上实现有效学习。
• 基于图的特性，利用双层优化自动选择同配性或异配性GNN。
• 在无需人工调参的情况下，确保在不同同配性水平的图上均具备强性能。

提出的方法

• 提出标签级消息传递机制，根据邻居的类别标签进行聚合，以保留上下文相关的表征。
• 采用可学习的伪标签预测器，为标签缺失的节点生成初始标签，从而在低标签率场景下实现标签级聚合。
• 使用双层优化框架，联合训练伪标签预测器，并在验证数据上选择最优模型（LW-GCN或标准GNN）。
• 采用GCNII作为标签级GNN与标准GNN的骨干网络，确保可扩展性与性能。
• 采用双流架构：一路用于标签级聚合，另一路用于标准同配性消息传递，通过元学习实现动态选择。
• 基于理论分析表明，标签级聚合可提升异配性设置下的表征判别能力。

实验结果

研究问题

• RQ1 同配性水平如何影响标准GCN模型的性能？
• RQ2 标签级消息传递是否能在异配性图中保留具有判别性的邻域上下文？
• RQ3 如何有效利用伪标签以在稀疏标签图中实现标签级聚合？
• RQ4 双层优化策略能否自动为给定图选择最优模型（LW-GCN或标准GNN）？
• RQ5 所提出的框架是否在同配性和异配性图上均优于现有GNN？

主要发现

• 在Texas数据集（异配性）上，LW-GCN达到86.2%的准确率，显著优于GCN（57.6%）和GCNII（68.6%），证明其在异配性设置下的有效性。
• 在Cora数据集（同配性）上，LW-GCN达到84.3%的准确率，与GCNII性能相当，并优于标准GCN（81.6%），展现出强大的泛化能力。
• 消融实验表明，伪标签质量至关重要：将MLP伪标签预测器替换为GCN会降低异配性图上的性能，凸显了准确伪标签的重要性。
• 移除标准GNN流（LW-GCN\G）后，同配性图上的性能下降，证实双流架构的必要性。
• 表征分析显示，LW-GCN的类内相似度显著更高，类间相似度显著更低，验证了其更强的判别能力。
• 双层优化模块成功在同配性图上选择GCNII，在异配性图上选择LW-GCN，验证了其自适应能力。