[论文解读] Graph Soft-Contrastive Learning via Neighborhood Ranking

Zhiyuan Ning, Pengfei Wang+6 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出图软对比学习（GSCL），一种新颖的图对比学习框架，通过用邻域排序替代绝对相似性标注，提升了模型的鲁棒性与性能。通过利用基于邻域排序的相对相似性，并引入门控排序InfoNCE损失，GSCL在11个多样化的图数据集上实现了最先进性能，优于20种SOTA方法，且通过邻域采样策略提升了计算效率。

ABSTRACT

Graph Contrastive Learning (GCL) has emerged as a promising approach in the realm of graph self-supervised learning. Prevailing GCL methods mainly derive from the principles of contrastive learning in the field of computer vision: modeling invariance by specifying absolutely similar pairs. However, when applied to graph data, this paradigm encounters two significant limitations: (1) the validity of the generated views cannot be guaranteed: graph perturbation may produce invalid views against semantics and intrinsic topology of graph data; (2) specifying absolutely similar pairs in the graph views is unreliable: for abstract and non-Euclidean graph data, it is difficult for humans to decide the absolute similarity and dissimilarity intuitively. Despite the notable performance of current GCL methods, these challenges necessitate a reevaluation: Could GCL be more effectively tailored to the intrinsic properties of graphs, rather than merely adopting principles from computer vision? In response to this query, we propose a novel paradigm, Graph Soft-Contrastive Learning (GSCL). This approach facilitates GCL via neighborhood ranking, avoiding the need to specify absolutely similar pairs. GSCL leverages the underlying graph characteristic of diminishing label consistency, asserting that nodes that are closer in the graph are overall more similar than far-distant nodes. Within the GSCL framework, we introduce pairwise and listwise gated ranking InfoNCE loss functions to effectively preserve the relative similarity ranking within neighborhoods. Moreover, as the neighborhood size exponentially expands with more hops considered, we propose neighborhood sampling strategies to improve learning efficiency. Our extensive empirical results across 11 commonly used graph datasets-including 8 homophily graphs and 3 heterophily graphs-demonstrate GSCL's superior performance compared to 20 SOTA GCL methods.

研究动机与目标

• 为解决现有图对比学习（GCL）方法依赖绝对相似性对与视图增强所导致的无效或语义不一致图视图的问题。
• 开发一种GCL框架，通过基于邻域排序建模相对相似性，更好地尊重图数据固有的非欧几里得与抽象特性。
• 通过基于图中节点距离越近则通常越相似的原则，消除对人工定义的绝对相似性对的需求。
• 通过引入邻域采样策略，使模型在多跳邻域中实现随邻域指数增长而可扩展的计算效率。
• 通过利用图拓扑结构与标签一致性模式，建立一种更合理、更高效的图结构化数据自监督学习新范式。

提出的方法

• GSCL用基于图邻域结构的相对排序机制替代传统对比学习中的绝对相似性配对，假设图中距离越近的节点越相似。
• 该方法提出两种新型损失函数：成对与列表式门控排序InfoNCE损失，通过在多跳范围内比较正负节点对，保留邻域内相对相似性的顺序。
• 成对门控排序损失计算锚点节点与其邻近节点之间的相似性得分，其中注意力门控动态加权不同跳数层级的贡献。
• 列表式门控排序损失将此机制扩展至整个邻域，利用分层结构聚合多跳范围内的相似性得分，并强制实现排序一致性。
• 为控制邻域指数增长带来的计算开销，GSCL采用邻域采样策略，仅在每跳层级采样最相关的节点。
• 该框架通过端到端对比目标进行训练，最大化相似节点的排序一致性，同时将不相似节点相互推开，而无需显式正负对标注。

实验结果

研究问题

• RQ1 图对比学习能否被重新构想，以更好地尊重图数据固有的拓扑与语义特性，而非借用计算机视觉的范式？
• RQ2 是否可能通过依赖基于邻域的相对排序，完全消除图对比学习中对人工定义的绝对相似性对的需求？
• RQ3 如何有效建模扩展邻域内节点的相对相似性，以提升表征学习效果？
• RQ4 邻域采样策略能否在保持性能的同时降低多跳邻域学习的计算成本？
• RQ5 基于排序的对比目标是否在多样化图基准上优于传统基于绝对相似性对的对比学习？

主要发现

• GSCL在11个基准图数据集上实现最先进性能，涵盖8个同质性图与3个异质性图，优于20种现有SOTA GCL方法。
• 所提出的列表式门控排序InfoNCE损失持续优于成对变体，证明了建模整个邻域排序的优越性。
• 邻域采样策略降低了多跳邻域聚合的计算复杂度，使大规模图的高效训练成为可能。
• GSCL对视图扰动表现出强鲁棒性，因其不依赖增强视图的有效性，与传统GCL方法形成对比。
• 该方法在异质性图上取得显著性能提升，而传统GCL方法常因同质性假设失效而表现不佳。
• 实证结果证实，标签一致性递减特性——即越近的节点越相似——作为图表示学习的强归纳偏差成立。