[论文解读] Node Similarity Preserving Graph Convolutional Networks

Wei Jin, Tyler Derr+4 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Graph Neural Networks参考文献 47被引用 13

一句话总结

该论文提出 SimP-GCN，一种图卷积网络，通过可学习注意力机制和自监督相似性学习，自适应地平衡图结构与节点特征，从而保留节点相似性。在各类图上，尤其是非一致连接图上，其性能优于基线模型，通过减少消息传递过程中的相似性破坏，并提升低度数节点和对抗性扰动节点的性能。

ABSTRACT

Graph Neural Networks (GNNs) have achieved tremendous success in various real-world applications due to their strong ability in graph representation learning. GNNs explore the graph structure and node features by aggregating and transforming information within node neighborhoods. However, through theoretical and empirical analysis, we reveal that the aggregation process of GNNs tends to destroy node similarity in the original feature space. There are many scenarios where node similarity plays a crucial role. Thus, it has motivated the proposed framework SimP-GCN that can effectively and efficiently preserve node similarity while exploiting graph structure. Specifically, to balance information from graph structure and node features, we propose a feature similarity preserving aggregation which adaptively integrates graph structure and node features. Furthermore, we employ self-supervised learning to explicitly capture the complex feature similarity and dissimilarity relations between nodes. We validate the effectiveness of SimP-GCN on seven benchmark datasets including three assortative and four disassorative graphs. The results demonstrate that SimP-GCN outperforms representative baselines. Further probe shows various advantages of the proposed framework. The implementation of SimP-GCN is available at \url{https://github.com/ChandlerBang/SimP-GCN}.

研究动机与目标

• 解决标准 GCN 在消息传递过程中破坏节点相似性的问题，尤其是在非一致连接或对抗性扰动图中。
• 在聚合过程中以数据驱动、自适应的方式平衡来自图结构和节点特征的信息。
• 通过自监督学习显式建模复杂的成对节点相似性关系。
• 提升低度数节点的性能，并缓解深层 GCN 中的过平滑问题。
• 开发一种框架，在利用结构归纳偏差的同时，保持原始特征空间中的相似性。

提出的方法

• 提出一种相似性保留的聚合机制，通过可学习参数自适应地结合原始图邻接矩阵与基于特征的相似性图。
• 采用自监督的预训练任务，从隐藏表示中预测成对节点的特征相似性，显式编码相似性关系。
• 使用可学习的自环矩阵和得分向量，动态调整每个节点的结构与特征贡献。
• 提出一种改进的传播矩阵，以可微分、自适应的方式整合结构信息与基于特征的邻域信息。
• 采用两阶段训练流程：先通过自监督相似性预测进行预训练，再在下游任务上进行微调。
• 模型采用端到端训练，结合交叉熵损失与对比损失，以实现相似性保留。

Figure 1. An overall framework of the proposed SimP-GCN.

实验结果

研究问题

• RQ1 标准 GCN 的聚合过程是否本质上会破坏原始特征空间中的节点相似性？
• RQ2 我们能否设计一种图卷积机制，自适应地平衡结构信息与基于特征的邻域信息？
• RQ3 自监督学习能否有效捕捉并保留复杂的成对节点相似性关系？
• RQ4 在结构信息不可靠的非一致连接图中，SimP-GCN 的表现如何？
• RQ5 可学习组件（得分向量与自环矩阵）在性能提升中的贡献程度如何？

主要发现

• 在非一致连接的 Actor 数据集上，与 GCN 相比，SimP-GCN 将原始图与隐藏图之间的重叠度提高了约 10%。
• 在非一致连接图中，SimP-GCN 降低了隐藏图与原始图之间的重叠百分比，表明其更好地保留了原始特征相似性。
• 在 Corn. 数据集上，SimP-GCN 达到 84.05% 的测试准确率，显著优于 GCN 的 52.70%。
• 消融实验表明，自监督学习组件与可学习对角矩阵均对性能提升有贡献，其中自监督学习带来的改进最大。
• 学习得到的得分向量与自环矩阵因节点而异，表现出自适应行为——尤其在非一致连接图中，自环权重更高，表明对特征的依赖更强。
• 在一致连接图（如 Cora）中，模型更依赖特征图；而在非一致连接图（如 Wisconsin）中，其使用更强的自环，反映出动态适应机制。

(a) Cora