[论文解读] GraphCL: Contrastive Self-Supervised Learning of Graph Representations

Hakim Hafidi, Mounir Ghogho+2 more|arXiv (Cornell University)|Jul 15, 2020

Advanced Graph Neural Networks参考文献 41被引用 26

一句话总结

GraphCL 提出了一种对比自监督框架，通过最大化每个节点局部子图的两个随机扰动视图之间的相似性，来学习节点表示。该方法利用图神经网络和对比损失，在引文网络、社交网络和生物网络上，于直推和归纳设置下均实现了无监督节点分类的最先进性能，展现出鲁棒性和高效性。

ABSTRACT

We propose Graph Contrastive Learning (GraphCL), a general framework for learning node representations in a self supervised manner. GraphCL learns node embeddings by maximizing the similarity between the representations of two randomly perturbed versions of the intrinsic features and link structure of the same node's local subgraph. We use graph neural networks to produce two representations of the same node and leverage a contrastive learning loss to maximize agreement between them. In both transductive and inductive learning setups, we demonstrate that our approach significantly outperforms the state-of-the-art in unsupervised learning on a number of node classification benchmarks.

研究动机与目标

• 开发一种通用的、无需标注数据的自监督框架，用于学习节点表示。
• 解决现有无监督方法依赖同质性或全局图表示的局限性，这些方法可能忽略拓扑结构。
• 通过学习对节点特征和图结构随机扰动不变的表示，提升鲁棒性和泛化能力。
• 通过统一的对比学习方法，在直推和归纳学习设置下均实现优异性能。
• 提供一种高效且可扩展的替代方案，避免昂贵的全局图编码或大量人工监督。

提出的方法

• 对于每个节点，GraphCL 通过用户定义的概率随机丢弃边和节点特征，构建其 L-跳局部子图的两个增强视图。
• 图神经网络编码器处理这两个增强视图，生成同一节点的两个表示。
• 应用对比损失，以最大化两个表示之间的相似性，同时与来自其他节点的负样本进行对比。
• 该方法采用类似 MoCo 的框架，使用动量更新的编码器，以稳定训练并提升表示质量。
• 通过子图采样策略管理内存和计算成本，该框架支持直推和归纳学习。
• 该方法对 GNN 架构的选择保持无感知，可与各种消息传递模型兼容。

实验结果

研究问题

• RQ1 基于局部子图扰动的对比学习框架是否能超越现有无监督图表示学习方法？
• RQ2 GraphCL 在直推和归纳节点分类基准上的表现如何？
• RQ3 对特征和结构进行随机扰动能在多大程度上提升节点表示学习的鲁棒性和泛化能力？
• RQ4 GraphCL 是否能在无需标注数据的情况下，实现与监督基线方法相当的性能？
• RQ5 该方法在大规模图上的可扩展性如何？内存效率与计算成本之间存在何种权衡？

主要发现

• GraphCL 在多个引文网络、社交网络和生物网络基准上，实现了无监督节点分类的最先进性能。
• 该方法在直推和归纳学习设置下，显著优于现有的自监督方法，如 DGI、VGAE 和 node2vec。
• GraphCL 展现出强大的抗扰动能力，因为学习到的表示对随机边和特征丢弃具有不变性。
• 计算复杂度与节点数量呈线性关系，使其在大规模图上具有可扩展性，尤其在归纳设置中结合子采样时更为显著。
• 对比损失为两个视图之间互信息提供了一个下界，支持了表示对齐的理论基础。
• 该框架即使不依赖全局图编码也有效，避免了大规模图表示学习的计算不可行性。