[论文解读] Alleviating neighbor bias: augmenting graph self-supervise learning with structural equivalent positive samples

Jiawei Zhu, Hong Mei+2 more|arXiv (Cornell University)|Dec 8, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出了一种基于拓扑信号的自监督学习方法，通过引入在结构上等价但非相邻的节点作为正样本，缓解图神经网络中的邻居偏差。利用持久同调提取多尺度拓扑特征，该方法计算节点对之间的结构等价性，并施加一种拓扑损失，使高结构等价性的非邻居节点在表示空间中更接近，从而在七个基准数据集上显著提升了节点分类准确率。

ABSTRACT

In recent years, using a self-supervised learning framework to learn the general characteristics of graphs has been considered a promising paradigm for graph representation learning. The core of self-supervised learning strategies for graph neural networks lies in constructing suitable positive sample selection strategies. However, existing GNNs typically aggregate information from neighboring nodes to update node representations, leading to an over-reliance on neighboring positive samples, i.e., homophilous samples; while ignoring long-range positive samples, i.e., positive samples that are far apart on the graph but structurally equivalent samples, a problem we call "neighbor bias." This neighbor bias can reduce the generalization performance of GNNs. In this paper, we argue that the generalization properties of GNNs should be determined by combining homogeneous samples and structurally equivalent samples, which we call the "GC combination hypothesis." Therefore, we propose a topological signal-driven self-supervised method. It uses a topological information-guided structural equivalence sampling strategy. First, we extract multiscale topological features using persistent homology. Then we compute the structural equivalence of node pairs based on their topological features. In particular, we design a topological loss function to pull in non-neighboring node pairs with high structural equivalence in the representation space to alleviate neighbor bias. Finally, we use the joint training mechanism to adjust the effect of structural equivalence on the model to fit datasets with different characteristics. We conducted experiments on the node classification task across seven graph datasets. The results show that the model performance can be effectively improved using a strategy of topological signal enhancement.

研究动机与目标

• 为解决图自监督学习中的邻居偏差问题，即模型过度依赖邻近（同质性）正样本而未能充分利用结构上等价但距离较远的节点。
• 提出一种方法，识别并利用结构上等价的节点对——即具有相似拓扑角色但无直接连接的节点对——作为正样本。
• 通过结合同质性正样本与结构等价正样本，提升图表示学习的泛化能力，其理论基础为GC组合假设。
• 设计一种联合训练机制，根据数据集特性自适应调整结构等价性的影响。

提出的方法

• 使用持久同调提取多尺度拓扑特征，以捕捉节点在多个尺度下的拓扑结构。
• 基于持久同调生成的拓扑特征，计算节点对之间的结构等价性。
• 设计一种拓扑损失函数，促使表示空间中将结构等价性高的非邻居节点对拉近。
• 通过一个由超参数λ控制的联合训练机制，将拓扑损失与标准对比学习相结合，以平衡同质性与结构等价性。
• 使用节点度和Ricci曲率作为持久同调的替代赋值函数，结果表明该方法对函数选择具有鲁棒性。
• 在持久图像生成中应用不同的分辨率设置，以在不同粒度下表征拓扑特征，性能在不同大小和密度的数据集上进行了评估。

实验结果

研究问题

• RQ1 在图自监督学习中，结构上等价但非相邻的节点能否作为有效的正样本，超越同质性邻居？
• RQ2 如何利用持久同调提取的拓扑特征来识别和度量节点之间的结构等价性？
• RQ3 与仅依赖基于邻域的正样本相比，引入结构等价性是否能提升图神经网络的泛化性能？
• RQ4 拓扑描述的选择（例如，度数与Ricci曲率）如何影响模型性能？
• RQ5 针对不同图特征，持久同调中表示拓扑特征的最优粒度是什么？

主要发现

• 所提方法在全部七个基准数据集上均提升了节点分类准确率，性能增益在1.6%至2.6%之间。
• 在Cora数据集上，当λ=0.1时，模型准确率达到84.3%，优于基线模型的82.7%。
• 在Amazon Photo数据集上，当λ=0.3时，方法准确率达到93.7%，超过基线的92.2%。
• 在Cora和Citeseer等小而稀疏的图上，使用更精细的分辨率可提升性能；而在Coauthor Physics等大而密集的图上，较粗分辨率表现更优。
• 该方法对拓扑赋值函数的选择具有鲁棒性，节点度与Ricci曲率均带来了相似的性能增益。
• 通过λ控制的联合训练使模型能够自适应平衡同质性与结构等价性，从而在多种数据集上均实现一致的性能提升。