[论文解读] Localized Contrastive Learning on Graphs

Hengrui Zhang, Qitian Wu+4 more|arXiv (Cornell University)|Dec 8, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出 Local-GCL，一种简单而高效的图神经网络对比学习方法，通过使用一阶节点邻居作为正样本对，消除对数据增强的依赖，并以线性时间的核化代理损失替代标准的二次复杂度 InfoNCE 损失。该方法在七个节点分类基准中的六个上达到最先进性能，在 Ogbn-Arxiv 上也取得具有竞争力的结果，且训练速度显著更快，证明了其在同质图与异质图上的高效性与鲁棒性。

ABSTRACT

Contrastive learning methods based on InfoNCE loss are popular in node representation learning tasks on graph-structured data. However, its reliance on data augmentation and its quadratic computational complexity might lead to inconsistency and inefficiency problems. To mitigate these limitations, in this paper, we introduce a simple yet effective contrastive model named Localized Graph Contrastive Learning (Local-GCL in short). Local-GCL consists of two key designs: 1) We fabricate the positive examples for each node directly using its first-order neighbors, which frees our method from the reliance on carefully-designed graph augmentations; 2) To improve the efficiency of contrastive learning on graphs, we devise a kernelized contrastive loss, which could be approximately computed in linear time and space complexity with respect to the graph size. We provide theoretical analysis to justify the effectiveness and rationality of the proposed methods. Experiments on various datasets with different scales and properties demonstrate that in spite of its simplicity, Local-GCL achieves quite competitive performance in self-supervised node representation learning tasks on graphs with various scales and properties.

研究动机与目标

• 解决图对比学习对复杂、任务特定数据增强的依赖，这些增强可能扭曲图语义。
• 克服标准对比学习（如 InfoNCE）在大规模图设置中计算与内存复杂度为二次方的问题。
• 开发一种轻量级、可扩展且高效的无负样本采样或数据增强的自监督节点表征学习方法。
• 在多样图类型（包括低同质性与大规模图）上验证该方法的有效性。

提出的方法

• 直接从每个节点的一阶邻居构建正样本对，消除对数据增强的需求。
• 提出一种核化对比损失，作为标准 InfoNCE 损失的代理，实现线性时间与线性空间计算。
• 通过随机特征映射近似负项，利用再生核定理实现高效计算。
• 模型使用标准 GCN 编码器，并将所提损失应用于节点表征与其局部邻居的对比。
• 该方法设计为完全兼容全图训练，避免小批量划分带来的问题。
• 理论分析支持该方法的有效性，表明更大的嵌入维度可降低预测误差界。

实验结果

研究问题

• RQ1 我们能否在不依赖数据增强的前提下实现图对比学习的性能保持或提升？
• RQ2 我们能否设计一种对比损失，将计算复杂度从图规模的二次方降低至线性？
• RQ3 所提方法在大规模图（如 Ogbn-Arxiv）上的表现如何，尤其与可扩展基线方法相比？
• RQ4 该方法是否能泛化到异质图，其中节点特征与标签与邻居的相关性较低？
• RQ5 在所提框架中，性能对嵌入维度与投影维度的敏感性如何？

主要发现

• Local-GCL 在七个节点分类基准中的六个上达到最先进性能，包括 Cora、Citeseer 与 Pubmed。
• 在大规模 Ogbn-Arxiv 数据集上，Local-GCL 达到 72.29% 的测试准确率，训练速度显著快于 GRACE，且与 BGRL 和 CCA-SSG 性能相当。
• 该方法训练速度比 CCA-SSG 和 BGRL 快至 2 倍，同时保持具有竞争力的准确率，展现出卓越的效率。
• Local-GCL 在异质图（如 Photo 与 Computers）上表现良好，表明其在同质图之外也具备鲁棒性。
• 性能随更大的嵌入维度（如高达 2048）而提升，而投影维度影响甚微，表明其在实际应用中的高效性。
• 消融研究证实，基于邻居的正样本构造有效，且核化损失可在无需负样本采样的前提下实现可扩展训练。