[论文解读] Augmentation-Free Graph Contrastive Learning with Performance Guarantee

Haonan Wang, Jieyu Zhang+2 more|arXiv (Cornell University)|Apr 11, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

本文提出 AF-GCL，一种新颖的无数据增强图对比学习方法，通过利用聚合的 GNN 特征而非数据增强来构建自监督信号。该方法在同质图与异质图上均实现了最先进性能，计算成本显著降低，并提供了理论性能保证，在异质图基准测试中优于现有 SOTA 方法。

ABSTRACT

Graph contrastive learning (GCL) is the most representative and prevalent self-supervised learning approach for graph-structured data. Despite its remarkable success, existing GCL methods highly rely on an augmentation scheme to learn the representations invariant across different augmentation views. In this work, we revisit such a convention in GCL through examining the effect of augmentation techniques on graph data via the lens of spectral theory. We found that graph augmentations preserve the low-frequency components and perturb the middle-and high-frequency components of the graph, which contributes to the success of GCL algorithms on homophilic graphs but hinder its application on heterophilic graphs, due to the high-frequency preference of heterophilic data. Motivated by this, we propose a novel, theoretically-principled, and augmentation-free GCL method, named AF-GCL, that (1) leverages the features aggregated by Graph Neural Network to construct the self-supervision signal instead of augmentations and therefore (2) is less sensitive to the graph homophily degree. Theoretically, We present the performance guarantee for AF-GCL as well as an analysis for understanding the efficacy of AF-GCL. Extensive experiments on 14 benchmark datasets with varying degrees of heterophily show that AF-GCL presents competitive or better performance on homophilic graphs and outperforms all existing state-of-the-art GCL methods on heterophilic graphs with significantly less computational overhead.

研究动机与目标

• 探究现有图对比学习（GCL）方法严重依赖数据增强所带来的局限性。
• 分析图增强对图数据频谱分量（低频、中频与高频）的影响。
• 解决现有 GCL 方法在异质图上表现不佳的问题，其中高频信息至关重要。
• 开发一种无数据增强的 GCL 方法，以保留高频信息，并在同质图与异质图上均具备泛化能力。
• 为所提出方法提供理论性能保证。

提出的方法

• AF-GCL 基于单个 GNN 编码器聚合的节点特征构建正样本对与负样本对，从而消除对数据增强的依赖。
• 其使用对比损失，通过优化高维空间中表示之间的距离，直接利用 GNN 聚合特征的集中性特性。
• 该方法采用单分支架构，仅使用一个 GNN 编码器，相比双分支方法显著降低了内存与计算开销。
• 通过选定节点特征嵌入之间的内积形式化自监督信号，实现高效计算。
• 理论分析表明，在特征集中性与图结构满足特定假设的前提下，AF-GCL 保持性能保证。
• 该方法通过避免昂贵的全对计算或双编码器计算，具备在大规模图上扩展的潜力。

实验结果

研究问题

• RQ1 常见的图增强技术如何影响图数据的频谱分量（低频、中频与高频）？
• RQ2 为何基于增强的现有 GCL 方法在异质图上表现不佳，尽管其在同质图上表现优异？
• RQ3 能否设计一种不依赖数据增强的图对比学习方法，同时保持或提升性能？
• RQ4 基于 GNN 聚合特征的无数据增强 GCL 方法可提供何种理论保证？
• RQ5 是否能够构建一种自监督信号，以保留对异质图至关重要的高频信息？

主要发现

• 在 6 个异质图基准测试中，包括 Coauthor-Phy 和 Twitch-gamers，AF-GCL 显著优于所有现有 SOTA GCL 方法，后者在这些数据集上表现困难。
• 在同质图上，AF-GCL 表现具有竞争力，在 WikiCS 和 Amazon-Computers 等数据集上达到或超过 SOTA 结果。
• 与 GRACE 和 BGRL 相比，AF-GCL 将 GPU 显存使用量最多降低 50%，在 Twitch-gamers 上峰值显存使用量为 22.15GB（BGRL 为 26.22GB）。
• 在 Twitch-DE 上，AF-GCL 达到 73.51% 的准确率，隐藏维度为 1024 时，随着表示维度增大，性能持续提升。
• AF-GCL 展现出显著更低的计算开销，每轮更新仅需两次 GNN 前向传播，而 BGRL 需四次，GCA 需两次（且伴随昂贵的全对计算）。
• 理论分析证实，在特征集中性相关假设下，AF-GCL 保持性能保证，为其有效性提供了严谨的理论基础。