[论文解读] Enhancing Hyperbolic Graph Embeddings via Contrastive Learning

Jiahong Liu, Meng‐Lin Yang+3 more|arXiv (Cornell University)|Jan 21, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出了一种新型框架——双曲图对比学习（Hyperbolic Graph Contrastive Learning, HGCL），通过将对比学习与双曲几何相结合，增强了双曲图神经网络。通过利用一种基于距离感知判别与视图级别一致性的双曲位置一致性（HPC）损失，HGCL在多种数据集上的节点分类任务中实现了最先进性能，显著优于现有方法。

ABSTRACT

Recently, hyperbolic space has risen as a promising alternative for semi-supervised graph representation learning. Many efforts have been made to design hyperbolic versions of neural network operations. However, the inspiring geometric properties of this unique geometry have not been fully explored yet. The potency of graph models powered by the hyperbolic space is still largely underestimated. Besides, the rich information carried by abundant unlabelled samples is also not well utilized. Inspired by the recently active and emerging self-supervised learning, in this study, we attempt to enhance the representation power of hyperbolic graph models by drawing upon the advantages of contrastive learning. More specifically, we put forward a novel Hyperbolic Graph Contrastive Learning (HGCL) framework which learns node representations through multiple hyperbolic spaces to implicitly capture the hierarchical structure shared between different views. Then, we design a hyperbolic position consistency (HPC) constraint based on hyperbolic distance and the homophily assumption to make contrastive learning fit into hyperbolic space. Experimental results on multiple real-world datasets demonstrate the superiority of the proposed HGCL as it consistently outperforms competing methods by considerable margins for the node classification task.

研究动机与目标

• 为解决在图表示学习中双曲几何的指数容量未被充分利用的问题。
• 克服将对比学习应用于双曲空间时面临的挑战，包括范数正则化与结构容错性破坏问题。
• 将对比学习与双曲图神经网络相结合，以提升表示质量。
• 设计一种兼容双曲空间的对比损失，以在增强特征判别能力的同时保持层次结构。

提出的方法

• 提出一种双曲图对比学习（HGCL）框架，使用两个双曲编码器对同一图输入生成对比视图。
• 引入一种双曲位置一致性（HPC）约束，通过双曲距离与距离感知判别器，平衡均匀性与容错性。
• 采用距离感知判别器，利用双曲距离计算嵌入之间的概率得分，替代点积或余弦相似度。
• 使用莫比乌斯加法与旋转变换算子，处理庞加莱球模型中的向量运算，实现双曲空间计算的一致性。
• 应用一种对比损失函数，最大化正样本对（同一节点在不同视图中的表示）之间的互信息，并通过邻域一致性实现容错性约束。
• 采用两分支编码器架构并共享权重，以在不同视图间生成一致的表示，支持自监督预训练。

实验结果

研究问题

• RQ1 对比学习能否被有效适配到双曲图表示学习中，以提升节点分类性能？
• RQ2 如何利用双曲空间的固有几何特性，设计一种尊重层次结构的对比损失？
• RQ3 在双曲空间中，距离感知判别器是否优于传统的点积或余弦相似度？
• RQ4 所提出的HPC损失在增强特征判别能力的同时，能在多大程度上保持结构关系？

主要发现

• HGCL在全部五个基准数据集上均达到最先进性能，在Disease数据集上相比第二名方法（HGAT）实现了3.12%的绝对准确率提升。
• 在Cora数据集上，HGCL达到82.37%的准确率，较HGAT提升4.05%，表明其在高双曲性图上表现强劲。
• 该方法在所有数据集上均持续优于所有基线方法（包括HGCN、HGAT与HNN），在PubMed上取得最高F1分数，在Citeseer与Airport数据集上取得最高准确率。
• 消融实验表明，HPC损失与距离感知判别器均对性能至关重要，任一组件的移除均导致准确率显著下降。
• 框架在增强判别能力的同时成功保持了层次结构，表现为正样本对之间的互信息与一致性均得到提升。