[论文解读] GCN-SL: Graph Convolutional Networks with Structure Learning for Graphs under Heterophily

Mengying Jiang, Guizhong Liu+2 more|arXiv (Cornell University)|May 28, 2021

Advanced Graph Neural Networks参考文献 27被引用 5

一句话总结

该论文提出 GCN-SL，一种结合结构学习的图卷积网络，通过整合高效的谱聚类进行特征聚合，并利用相似性学习学习重新连接的邻接矩阵，从而在低同质性图上提升节点分类性能。该方法在各类基准测试中均优于当前最先进GNN模型，尤其在标准GCN因邻域聚合误导而失效的异质性设置中表现更优。

ABSTRACT

In representation learning on the graph-structured data, under heterophily (or low homophily), many popular GNNs may fail to capture long-range dependencies, which leads to their performance degradation. To solve the above-mentioned issue, we propose a graph convolutional networks with structure learning (GCN-SL), and furthermore, the proposed approach can be applied to node classification. The proposed GCN-SL contains two improvements: corresponding to node features and edges, respectively. In the aspect of node features, we propose an efficient-spectral-clustering (ESC) and an ESC with anchors (ESC-ANCH) algorithms to efficiently aggregate feature representations from all similar nodes. In the aspect of edges, we build a re-connected adjacency matrix by using a special data preprocessing technique and similarity learning, and the re-connected adjacency matrix can be optimized directly along with GCN-SL parameters. Considering that the original adjacency matrix may provide misleading information for aggregation in GCN, especially the graphs being with a low level of homophily. The proposed GCN-SL can aggregate feature representations from nearby nodes via re-connected adjacency matrix and is applied to graphs with various levels of homophily. Experimental results on a wide range of benchmark datasets illustrate that the proposed GCN-SL outperforms the stateof-the-art GNN counterparts.

研究动机与目标

• 为解决在低同质性或中等同质性图中GCN因邻居特征不相似而导致的性能下降问题，此时邻居聚合会失效。
• 通过学习一个重新连接的邻接矩阵来捕捉长距离依赖关系，该矩阵可将相似节点聚类在一起，即使它们并非直接相连。
• 通过高效算法（ESC与ESC-ANCH）降低谱聚类在大规模图上的计算成本。
• 联合优化重新连接的邻接矩阵与GCN参数，提升对过拟合和过平滑的鲁棒性。
• 构建一个统一框架，使其在所有同质性水平下（包括极端异质性）均表现良好。

提出的方法

• 通过高效的谱聚类（ESC）算法将谱聚类集成到GCN中，以分组相似节点并增强特征表示。
• 提出ESC-ANCH，一种可扩展的变体，利用锚点节点降低大规模图上谱聚类的计算复杂度。
• 基于节点特征之间的相似性学习，构建重新连接的邻接矩阵，该矩阵与GCN参数端到端联合优化。
• 采用特殊的数据预处理技术处理稀疏节点特征，并减少结构学习模块中的过拟合。
• 通过可学习的加权向量组合来自不同聚合轮次的多个中间节点表示，以突出信息量丰富的维度。
• 采用多头聚合策略，使原始邻接矩阵与重新连接的邻接矩阵共同贡献于最终的节点嵌入。

实验结果

研究问题

• RQ1 谱聚类能否被高效地适配到大规模图上，以提升低同质性设置下的GNN性能？
• RQ2 基于节点特征相似性的重新连接邻接矩阵学习是否能提升异质性图中的节点分类性能？
• RQ3 GCN-SL能否在不发生过拟合或过平滑的情况下，保持在不同同质性水平下的性能？
• RQ4 与H2GCN和Geom-GCN等最先进GNN相比，GCN-SL在准确率和鲁棒性方面表现如何？
• RQ5 基于谱聚类的特征增强与自适应边学习相结合，能在多大程度上提升GCN中的长距离依赖学习？

主要发现

• 在Cora数据集上，GCN-SL达到89.2% ± 1.3的准确率，优于5层GCN及其他SOTA GNN模型，尤其在异质性设置中表现更优。
• 在Squirrel数据集（低同质性）上，GCN-SL达到38.9% ± 3.1的准确率，显著优于GCN和GAT，后者甚至不如MLP。
• GCN-SL在不断增加网络深度时保持稳定性能，避免了深层GCN中常见的过拟合与过平滑问题。
• GCN-SL中的重新连接邻接矩阵实现了有效的长距离特征聚合，这在Chameleon（60.0% ± 3.2）和Texas（85.6% ± 6.2）数据集上表现尤为突出。
• 使用谱聚类特征与可学习加权聚合可提升节点嵌入质量，GCN-SL cc与GCN-SL av在性能上持续优于H2GCN。
• 超参数调优表明，GCN-SL在不同数据集上均具鲁棒性，最优设置随数据稀疏度与同质性水平而变化，但始终能保持顶尖性能。