[论文解读] ProGCL: Rethinking Hard Negative Mining in Graph Contrastive Learning

Jun Xia, Lirong Wu+3 more|arXiv (Cornell University)|Oct 5, 2021

Advanced Graph Neural Networks被引用 43

一句话总结

ProGCL 引入基于 Beta 混合模型的度量来区分真实负样本与假负样本在图对比学习中的作用，并提供两种方案（ProGCL-weight 和 ProGCL-mix）以改善 GCL 的困难负样本挖掘。

ABSTRACT

Contrastive Learning (CL) has emerged as a dominant technique for unsupervised representation learning which embeds augmented versions of the anchor close to each other (positive samples) and pushes the embeddings of other samples (negatives) apart. As revealed in recent studies, CL can benefit from hard negatives (negatives that are most similar to the anchor). However, we observe limited benefits when we adopt existing hard negative mining techniques of other domains in Graph Contrastive Learning (GCL). We perform both experimental and theoretical analysis on this phenomenon and find it can be attributed to the message passing of Graph Neural Networks (GNNs). Unlike CL in other domains, most hard negatives are potentially false negatives (negatives that share the same class with the anchor) if they are selected merely according to the similarities between anchor and themselves, which will undesirably push away the samples of the same class. To remedy this deficiency, we propose an effective method, dubbed extbf{ProGCL}, to estimate the probability of a negative being true one, which constitutes a more suitable measure for negatives' hardness together with similarity. Additionally, we devise two schemes (i.e., extbf{ProGCL-weight} and extbf{ProGCL-mix}) to boost the performance of GCL. Extensive experiments demonstrate that ProGCL brings notable and consistent improvements over base GCL methods and yields multiple state-of-the-art results on several unsupervised benchmarks or even exceeds the performance of supervised ones. Also, ProGCL is readily pluggable into various negatives-based GCL methods for performance improvement. We release the code at extcolor{magenta}{\url{https://github.com/junxia97/ProGCL}}.

研究动机与目标

• 解释为什么来自其他领域的现有困难负样本挖掘方法在图对比学习（GCL）中表现不佳。
• 使用 Beta 混合模型开发一种概率度量来区分 GCL 中的真实负样本与假负样本。
• 提出两种实际方案（ProGCL-weight 和 ProGCL-mix）以利用新的负样本难度度量。
• 证明 ProGCL 能提升基础 GCL 方法并在无监督基准上达到最先进结果。
• 表明 ProGCL 可插入到各种基于负样本的 GCL 方法中，并可扩展到大规模图。

提出的方法

• 用两成分 Beta 混合模型 (BMM) 来建模负样本相似度分布，以估计一个负样本是真负样本的概率。
• 给定相似度 s，计算真实/假负样本的后验概率 p(c|s)，并用这些概率重新定义负性强度。
• 引入 ProGCL-weight：在对比损失中按相似度和真实负样本概率的联合度量对负性样对进行加权。
• 引入 ProGCL-mix：通过对最高分的跨视图负样本进行凸组合，按它们的真实负样本概率加权，并将其纳入损失中，合成困难负样本。
• 提供两个与常见 GCL 框架兼容的训练方案（跨侵入性(transductive) 与 归纳性(inductive)）且具有可接受的计算开销（在 M 个样本上拟合 BMM，EM 迭代）。

实验结果

研究问题

• RQ1 为什么来自其他领域的现有困难负样本挖掘方法在图对比学习中表现不佳？
• RQ2 能否用基于混合模型的后验概率在 GCL 中区分真实负样本与假负样本，以及如何将其整合到训练中？
• RQ3 ProGCL-weight 和 ProGCL-mix 是否在各种 GCL 基线和数据集上稳定地提升性能？
• RQ4 ProGCL 是否可插拔到不同的基于负样本的 GCL 方法并且可扩展到大规模图？

主要发现

方法	Amazon-Photo	Amazon-Computers	Coauthor-CS	Wiki-CS
GCA ∗	92.55	87.82	92.40	78.26
ProGCL-weight	93.30	89.28	93.51	78.68
ProGCL-mix	93.64	89.55	93.67	78.45
Supervised GCN	92.42	86.51	93.03	77.19
Supervised GAT	92.56	86.93	92.31	77.65

• ProGCL 在基线 GCL 方法上持续改进，并在若干无监督基准上达到最先进结果。
• Beta 混合模型比高斯混合在 GCL 中更好地拟合负样本分布（真负与假负），使后验概率更可靠。
• ProGCL-weight 与 ProGCL-mix 在跨侵入式和跨归纳式节点分类任务上超越基线 GCL，覆盖多种数据集。
• ProGCL-mix 往往比 ProGCL-weight 得到略好一些的性能，尤其在某些数据集上。
• 在大规模图（例如 ogbn-arXiv）上，ProGCL 的无监督性能仍然优于其他基线。
• ProGCL 在应用时能提升其他基于负样本的 GCL 方法（如 MERIT），展示其即插即用的特性。