[论文解读] Distance-wise Graph Contrastive Learning.

Deli Chen, Yankai Lin+5 more|arXiv (Cornell University)|Dec 14, 2020

Advanced Graph Neural Networks参考文献 20被引用 4

一句话总结

本文提出了一种距离感知图对比学习（DwGCL）方法，通过考虑每个节点与标记节点的拓扑距离，自适应地将对比学习应用于图神经网络。通过利用Group PageRank识别信息贫乏的远距离节点，并相应调整采样策略，DwGCL在五种基准数据集和多种GNN架构下，于不同标注设置中均提升了性能。

ABSTRACT

Contrastive learning (CL) has proven highly effective in graph-based semi-supervised learning (SSL), since it can efficiently supplement the limited task information from the annotated nodes in graph. However, existing graph CL (GCL) studies ignore the uneven distribution of task information across graph caused by the graph topology and the selection of annotated nodes. They apply CL to the whole graph evenly, which results in an incongruous combination of CL and graph learning. To address this issue, we propose to apply CL in the graph learning adaptively by taking the received task information of each node into consideration. Firstly, we introduce Group PageRank to measure the node information gain from graph and find that CL mainly works for nodes that are topologically far away from the labeled nodes. We then propose our Distance-wise Graph Contrastive Learning (DwGCL) method from two views:(1) From the global view of the task information distribution across the graph, we enhance the CL effect on nodes that are topologically far away from labeled nodes; (2) From the personal view of each node's received information, we measure the relative distance between nodes and then we adapt the sampling strategy of GCL accordingly. Extensive experiments on five benchmark graph datasets show that DwGCL can bring a clear improvement over previous GCL methods. Our analysis on eight graph neural network with various types of architecture and three different annotation settings further demonstrates the generalizability of DwGCL.

研究动机与目标

• 解决图结构和标记节点选择导致的任务信息分布不均问题。
• 克服现有图对比学习（GCL）方法在全图范围内统一应用对比学习的局限性。
• 通过聚焦于与标记节点拓扑距离较远的节点，提升对比学习的有效性，这些节点正是信息增益最需要的区域。
• 设计一种自适应采样策略，考虑每个节点相对于标记节点的距离，以提升对比学习效率。
• 在多种GNN架构和标注设置下，验证所提方法的泛化能力。

提出的方法

• 引入Group PageRank来度量每个节点从图结构中获得的信息增益，识别出与标记节点拓扑距离较远的节点。
• 利用Group PageRank得分指导对比学习中的负样本选择，优先选择信息增益较低的节点。
• 根据节点与标记节点之间的相对距离，自适应调整GCL的采样策略，优先选择远距离节点进行对比增强。
• 以距离感知的方式应用对比学习：在远离标记节点的节点上增强对比信号，这些区域的监督信息最为稀疏。
• 将距离感知采样策略无缝集成到标准GCL框架中，无需修改底层GNN架构。
• 利用任务信息的全局分布，基于拓扑距离重新加权或重构对比学习目标。

实验结果

研究问题

• RQ1 节点与标记节点之间的拓扑距离在图基半监督学习中如何影响其信息增益？
• RQ2 是否可以通过优先选择远距离节点的自适应对比学习，相比统一应用GCL，实现性能提升？
• RQ3 所提出的距离感知采样策略如何影响GNN在不同架构下的泛化能力？
• RQ4 在不同标签稀缺程度和不同标签分布策略下，DwGCL的性能提升程度如何？
• RQ5 将Group PageRank用作信息增益的代理是否能更有效地指导图中的对比学习？

主要发现

• DwGCL在五个基准图数据集上持续优于先前的GCL方法。
• 该方法在多种GNN架构上均表现有效，展现出强大的泛化能力。
• 对与标记节点拓扑距离较远的节点，性能提升尤为显著，证实了方法聚焦于信息贫乏区域的有效性。
• 在三种不同标注设置下的实验表明，无论标签分布如何，DwGCL均保持优越性能。
• 使用Group PageRank成功识别出最受益于对比学习的节点，验证了其在引导自适应采样中的作用。
• 基于相对距离的自适应采样策略，显著提升了在标签分布不均的图中对比信号的传播效率。