[论文解读] Large-Scale Representation Learning on Graphs via Bootstrapping

Shantanu Thakoor, Corentin Tallec+6 more|arXiv (Cornell University)|Feb 12, 2021

Advanced Graph Neural Networks参考文献 46被引用 30

一句话总结

BGRL 通过在两个增强的图视图之间使用在线编码器和目标编码器进行自举学习来获得节点表示，且不使用负样本，从而实现可扩展的自监督学习，在内存消耗减少2-10倍的同时达到或超过现有方法。它可扩展到有数亿个节点的图，并在大规模基准测试中达到最先进的结果。

ABSTRACT

Self-supervised learning provides a promising path towards eliminating the need for costly label information in representation learning on graphs. However, to achieve state-of-the-art performance, methods often need large numbers of negative examples and rely on complex augmentations. This can be prohibitively expensive, especially for large graphs. To address these challenges, we introduce Bootstrapped Graph Latents (BGRL) - a graph representation learning method that learns by predicting alternative augmentations of the input. BGRL uses only simple augmentations and alleviates the need for contrasting with negative examples, and is thus scalable by design. BGRL outperforms or matches prior methods on several established benchmarks, while achieving a 2-10x reduction in memory costs. Furthermore, we show that BGRL can be scaled up to extremely large graphs with hundreds of millions of nodes in the semi-supervised regime - achieving state-of-the-art performance and improving over supervised baselines where representations are shaped only through label information. In particular, our solution centered on BGRL constituted one of the winning entries to the Open Graph Benchmark - Large Scale Challenge at KDD Cup 2021, on a graph orders of magnitudes larger than all previously available benchmarks, thus demonstrating the scalability and effectiveness of our approach.

研究动机与目标

• 推动图上的自监督表示学习，以减少对昂贵标签的依赖。
• 解决大规模图上对比学习方法在内存和计算方面的瓶颈。
• 提出一种可扩展的自举方法，不需要负样本。
• 在标准基准和极大规模图上展示性能与可扩展性。

提出的方法

• 使用两个图编码器：在线编码器 E_theta 和目标编码器 E_phi。
• 用简单的扰动（节点特征屏蔽和边屏蔽）对输入图创建两个增强视图。
• 通过预测器 p_theta 和余弦相似性损失训练在线编码器以预测目标表示，目标编码器作为在线编码器的指数移动平均更新。
• 去除某些 BYOL 风格方法中使用的投影头；嵌入维度保持较小，并随图大小线性扩展。
• 强调每次更新的线性时间/空间复杂度，避免对比学习方法中典型的全对全负的二次复杂度。
• 通过在非常大的图上进行训练来展示可扩展性（如 MAG240M），使用邻域采样和半监督信号。

实验结果

研究问题

• RQ1 非对比自我方法能否在保持或超过对比自监督图方法的准确性的同时减少内存使用？
• RQ2 简单的图增强是否足以在没有负样本的情况下实现可扩展的高性能图表示学习？
• RQ3 BGRL 在中等规模到极大规模图（包括半监督设置）上的表现如何？
• RQ4 在大规模图上，BGRL 与对比方法在内存与时间上的权衡是什么？

主要发现

• BGRL 在多个标准基准上与现有方法相比取得竞争力或更优的表现，同时内存使用低于2-10倍。
• 该方法可扩展到极大规模的图，包括具有2.4亿节点和17亿边的 MAG240M，获得强劲的验证和测试性能。
• BGRL 在半监督设置中有效，受益于未标记数据，在 MAG240M 上超过了全监督基线。
• 在 ogbn-arXiv 上，使用子采样的 BGRL 在内存受限下与 GRACE 相当甚至超过，显示出相对于全图对比损失的可扩展性优势。
• 在 PPI 上，使用 GAT 编码器的 BGRL 取得了最先进的性能，凸显了带注意力机制的模型自举的优势。
• Compared to contrastive methods, BGRL avoids negative sampling altogether and exhibits favorable memory and time complexity, scaling linearly with graph size.