[论文解读] Contrastive Laplacian Eigenmaps

Hao Zhu, Ke Sun+1 more|arXiv (Cornell University)|Jan 14, 2022

Advanced Graph Neural Networks被引用 23

一句话总结

COLES 将 Laplacian Eigenmaps 与 GAN 启发、基于 Wasserstein 的对比损失相结合，用于无监督图嵌入，在对抗若干基线时实现了有利的准确性与可扩展性。

ABSTRACT

Graph contrastive learning attracts/disperses node representations for similar/dissimilar node pairs under some notion of similarity. It may be combined with a low-dimensional embedding of nodes to preserve intrinsic and structural properties of a graph. In this paper, we extend the celebrated Laplacian Eigenmaps with contrastive learning, and call them COntrastive Laplacian EigenmapS (COLES). Starting from a GAN-inspired contrastive formulation, we show that the Jensen-Shannon divergence underlying many contrastive graph embedding models fails under disjoint positive and negative distributions, which may naturally emerge during sampling in the contrastive setting. In contrast, we demonstrate analytically that COLES essentially minimizes a surrogate of Wasserstein distance, which is known to cope well under disjoint distributions. Moreover, we show that the loss of COLES belongs to the family of so-called block-contrastive losses, previously shown to be superior compared to pair-wise losses typically used by contrastive methods. We show on popular benchmarks/backbones that COLES offers favourable accuracy/scalability compared to DeepWalk, GCN, Graph2Gauss, DGI and GRACE baselines.

研究动机与目标

• 以对比学习为动力，扩展 Laplacian Eigenmaps，使之更好地区分不相似的节点。
• 从 SampledNCE 框架和一个 GAN 启发的表述推导 COLES，以解决重叠分布的问题。
• 证明 COLES 最小化 Wasserstein 距离的一个代理，以在正/负分布不相交时提高鲁棒性。
• 展示 COLES 在标准图基准和不同骨干网络上的有效性与可扩展性。

提出的方法

• 用线性/指数形式取代传统的基于 sigmoid 的对比项，以对齐于 GAN 启发的目标。
• 将学习表述为优化 Tr(Y^T ΔW Y) 并带有正交约束，其中 ΔW 编码正/负图结构（Equation 5）。
• 将 COLES 专门化为 Linear Graph Networks，简化为一个基于小型 SVD 的特征值问题（Equation 6）。
• 探索一个 Stiefel 流形变体（COLES-GCN，带正交约束）以获得更丰富的嵌入。
• 证明 COLES 对应于一个分块对比损失，相较于成对损失具有优势。

实验结果

研究问题

• RQ1 如何在对比学习框架中重新形式化 Laplacian Eigenmaps？
• RQ2 当正样本和负样本具有不相交的分布时，Wasserstein 距离代理是否提供鲁棒性？
• RQ3 分块对比损失对图嵌入的含义是什么，以及 COLES 在诸如 GCN、SGC、S2GC 等骨干网络上的表现如何？

主要发现

• COLES 将 Laplacian Eigenmaps 重新表述为对比目标，源自 SampledNCE，但与 Wasserstein 距离原则对齐。
• 该方法通过使用一个 Lipschitz 连续、GAN 启发的设置和负采样方案，避免 JS 散度问题。
• COLES 属于分块对比损失族，从理论上优于成对损失并提升泛化。
• 在标准基准上的经验结果表明，基于 COLES 的骨干网络（COLES-GCN、COLES-S2GC）在准确性和可扩展性方面超越了若干无监督与对比基线（例如 DeepWalk、DGI、GRACE）。