[论文解读] Graph Self-supervised Learning with Accurate Discrepancy Learning

Dongki Kim, Jinheon Baek+1 more|arXiv (Cornell University)|Feb 7, 2022

Advanced Graph Neural Networks被引用 11

一句话总结

本文提出了一种基于差异性的自监督表征学习框架（D-SLA），通过使用图编辑距离显式建模原始图与扰动图之间的精确差异，从而提升图的自监督表征学习性能。与对比学习不同，后者会将语义上不同的图因扰动而产生相似表示，D-SLA通过训练判别器来区分原始图与扰动图，同时保留结构差异的真实程度，从而在分子性质预测、蛋白质功能预测和链接预测任务中达到最先进性能。

ABSTRACT

Self-supervised learning of graph neural networks (GNNs) aims to learn an accurate representation of the graphs in an unsupervised manner, to obtain transferable representations of them for diverse downstream tasks. Predictive learning and contrastive learning are the two most prevalent approaches for graph self-supervised learning. However, they have their own drawbacks. While the predictive learning methods can learn the contextual relationships between neighboring nodes and edges, they cannot learn global graph-level similarities. Contrastive learning, while it can learn global graph-level similarities, its objective to maximize the similarity between two differently perturbed graphs may result in representations that cannot discriminate two similar graphs with different properties. To tackle such limitations, we propose a framework that aims to learn the exact discrepancy between the original and the perturbed graphs, coined as Discrepancy-based Self-supervised LeArning (D-SLA). Specifically, we create multiple perturbations of the given graph with varying degrees of similarity, and train the model to predict whether each graph is the original graph or the perturbed one. Moreover, we further aim to accurately capture the amount of discrepancy for each perturbed graph using the graph edit distance. We validate our D-SLA on various graph-related downstream tasks, including molecular property prediction, protein function prediction, and link prediction tasks, on which ours largely outperforms relevant baselines.

研究动机与目标

• 为解决对比学习在图自监督学习中的局限性，即语义上不同的图因微小结构变化而被误认为相似，这是由扰动引起的相似性导致的。
• 克服预测学习无法捕捉全局图级相似性的缺陷，通过引入一种差异感知的学习目标。
• 学习能够准确反映图之间局部与全局拓扑差异的、保持距离的图表征。
• 开发一种自监督框架，不仅能区分原始图与扰动图，还能使用图编辑距离量化精确的结构差异。

提出的方法

• 该方法通过边扰动生成给定图的多种扰动版本，其相似度程度各不相同，且这些扰动直接对应于图编辑距离。
• 训练一个判别器以分类图是原始图还是扰动图，使模型能够学习细粒度的结构差异。
• 模型强制要求原始图与扰动图之间的嵌入距离与图编辑距离成比例，从而确保差异表征的准确性。
• 应用基于边距的损失函数，确保原始图与完全不同的（负样本）图之间的距离大于原始图与扰动图之间的距离。
• 该框架整合了局部判别（原始图 vs. 扰动图）与全局相对距离学习，以保留语义上的区分性。
• 该方法通过结合二分类损失与类对比损失进行端到端训练，以同时保持判别能力与结构保真度。

实验结果

研究问题

• RQ1 一种自监督学习方法是否能有效学习图与其扰动版本之间的精确结构差异，而不仅仅是最大化相似性？
• RQ2 在嵌入空间中建模真实的图编辑距离是否能提升下游图级预测任务的泛化性能？
• RQ3 所提出的方法能否避免对比学习中已知的失败模式——将语义上不同但结构相似的图映射为相似表示？
• RQ4 同时整合局部判别与全局相对距离学习如何影响所学图表征的质量？
• RQ5 精确的差异学习在多大程度上提升了分子与生物图基准上的性能？

主要发现

• D-SLA在12个基准图数据集上均达到最先进性能，在分子性质预测、蛋白质功能预测和链接预测任务中超越现有自监督学习基线方法。
• 该方法成功捕捉了结构差异的真实程度，表现为学习到的嵌入距离与真实图编辑距离之间高度对齐。
• 嵌入空间的可视化显示，D-SLA能清晰分离原始图、扰动图与负样本图，而对比学习则会将语义不同但结构相似的图混淆。
• 消融实验证实，图编辑距离监督与相对距离边距均对性能至关重要，验证了设计选择的有效性。
• 该框架在多种图类型（包括分子图、生物图和社会网络）上均表现出良好的泛化能力，展现出鲁棒性与可迁移性。