[论文解读] Bootstrapped Representation Learning on Graphs

Shantanu Thakoor, Corentin Tallec+4 more|arXiv (Cornell University)|Feb 12, 2021

Advanced Graph Neural Networks参考文献 44被引用 54

一句话总结

本文提出 BGRL，一种受 BYOL 启发的自监督图表示学习方法，无需负样本对，避免了对比学习带来的二次方计算和内存开销。通过使用带目标网络和在线网络的自举机制，BGRL 实现了最先进性能，包括在 PPI 数据集上使用 GAT 达到 70.49% 的 Micro-F1，优于以往的无监督方法，并在其他基准测试中达到或超过有监督 GNN 的表现。

ABSTRACT

Current state-of-the-art self-supervised learning methods for graph neural networks (GNNs) are based on contrastive learning. As such, they heavily depend on the construction of augmentations and negative examples. For example, on the standard PPI benchmark, increasing the number of negative pairs improves performance, thereby requiring computation and memory cost quadratic in the number of nodes to achieve peak performance. Inspired by BYOL, a recently introduced method for self-supervised learning that does not require negative pairs, we present Bootstrapped Graph Latents, BGRL, a self-supervised graph representation method that gets rid of this potentially quadratic bottleneck. BGRL outperforms or matches the previous unsupervised state-of-the-art results on several established benchmark datasets. Moreover, it enables the effective usage of graph attentional (GAT) encoders, allowing us to further improve the state of the art. In particular on the PPI dataset, using GAT as an encoder we achieve state-of-the-art 70.49% Micro-F1, using the linear evaluation protocol. On all other datasets under consideration, our model is competitive with the equivalent supervised GNN results, often exceeding them.

研究动机与目标

• 为解决对比学习在 GNN 中因负样本对构建导致的计算和内存成本随节点数量呈二次方增长的问题。
• 开发一种不依赖负样本的自监督图表示学习方法，受视觉领域 BYOL 成功的启发。
• 实现图注意力机制（GAT）在无监督预训练中的有效应用，以提升性能。
• 在标准图基准数据集上，于线性评估协议下实现最先进性能。
• 证明自监督 GNN 在多个数据集上的表现可达到或超过有监督 GNN。

提出的方法

• 提出 BGRL，一种基于自举的图自监督学习框架，使用两个神经网络：在线网络和目标网络。
• 目标网络是在线网络权重的慢速移动指数平均（EMA），为对比学习提供目标，而无需负样本对。
• 通过数据增强（如节点掩码、边丢弃）生成同一图的两个视图，分别由在线网络和目标网络编码。
• 通过最小化两个增强视图表示之间的距离来避免对比学习，且无需负样本。
• 通过在目标网络特征上应用停止梯度操作，实现端到端训练，从而在无负样本的情况下稳定学习。
• 该框架兼容多种 GNN 架构，包括 GAT，可通过注意力机制实现性能提升。

实验结果

研究问题

• RQ1 一种自监督图学习方法能否在不牺牲性能的前提下消除对负样本对的需求？
• RQ2 类似 BYOL 的基于自举的方法能否成功适配到图结构化数据，以避免负样本对计算的二次方复杂度？
• RQ3 与以往无监督方法相比，BGRL 与图注意力机制（GAT）结合是否能实现更好的性能？
• RQ4 在标准基准上，使用 BGRL 进行无监督预训练能否实现与有监督 GNN 竞争甚至更优的性能？
• RQ5 与对比方法相比，BGRL 在计算成本方面（尤其是在大规模图上）的可扩展性如何？

主要发现

• 在 PPI 数据集上，BGRL 使用线性评估协议取得了最先进水平的 70.49% Micro-F1，优于以往的无监督方法。
• 在所有其他评估的基准数据集上，BGRL 的性能与有监督 GNN 相当或更优。
• 通过消除负样本对的需求，显著降低了计算和内存成本，避免了节点数量增加带来的二次方缩放问题。
• BGRL 使无监督预训练中有效使用 GAT 编码器成为可能，从而在 PPI 上实现了性能提升。
• 该模型在多个数据集上均保持了强大性能，展现出对不同图结构的泛化能力和鲁棒性。
• 消融研究证实，基于 EMA 的自举机制与停止梯度操作对训练稳定性和高性能至关重要。