[论文解读] GSLB: The Graph Structure Learning Benchmark

Zhixun Li, Liang Wang+10 more|arXiv (Cornell University)|Oct 8, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

本文提出了GSLB，这是首个针对图结构学习（GSL）的综合性基准，整合了20个多样化的图数据集以及在同构、异构和图级任务中表现的16种最先进GSL算法。该研究从有效性、鲁棒性和复杂性三个维度评估了方法，表明GSL显著提升了下游任务的性能，并通过公开的代码库为未来研究提供了标准化、可复现的框架。

ABSTRACT

Graph Structure Learning (GSL) has recently garnered considerable attention due to its ability to optimize both the parameters of Graph Neural Networks (GNNs) and the computation graph structure simultaneously. Despite the proliferation of GSL methods developed in recent years, there is no standard experimental setting or fair comparison for performance evaluation, which creates a great obstacle to understanding the progress in this field. To fill this gap, we systematically analyze the performance of GSL in different scenarios and develop a comprehensive Graph Structure Learning Benchmark (GSLB) curated from 20 diverse graph datasets and 16 distinct GSL algorithms. Specifically, GSLB systematically investigates the characteristics of GSL in terms of three dimensions: effectiveness, robustness, and complexity. We comprehensively evaluate state-of-the-art GSL algorithms in node- and graph-level tasks, and analyze their performance in robust learning and model complexity. Further, to facilitate reproducible research, we have developed an easy-to-use library for training, evaluating, and visualizing different GSL methods. Empirical results of our extensive experiments demonstrate the ability of GSL and reveal its potential benefits on various downstream tasks, offering insights and opportunities for future research. The code of GSLB is available at: https://github.com/GSL-Benchmark/GSLB.

研究动机与目标

• 为解决图结构学习（GSL）中因实验设置和数据集不一致而导致的标准化评估缺失问题。
• 建立统一基准，实现对不同图类型和学习场景下GSL算法的公平、全面比较。
• 系统性地从有效性、鲁棒性（对监督、结构和特征扰动的鲁棒性）以及计算复杂性三个方面评估GSL方法。
• 通过提供一个用户友好的库，支持GSL方法的训练、评估和可视化，促进可复现研究。
• 为当前GSL算法在节点级和图级任务中的性能与局限性提供实证洞察。

提出的方法

• 整理了一个包含20个多样化图数据集的基准，涵盖同构、异构和图级任务，包括Cora、PubMed、IMDB-B和Peptides-Func。
• 选取了16种最先进GSL算法，包括LDS、GRCN、ProGNN、GTN、HGSL、HGP-SL和VIB-GSL，代表不同的GSL范式。
• 设计了标准化的评估协议，确保所有数据集和算法在训练/验证/测试划分和超参数设置上保持一致。
• 从三个维度评估方法：有效性（节点分类和图分类准确率）、鲁棒性（在监督、结构和特征扰动下的表现）以及复杂性（时间和空间效率）。
• 实现了一个模块化、开源的库，用于GSL模型的训练、评估和可视化，确保可复现性和易用性。
• 在同型和异型图设置下进行了广泛的消融研究和对比，以分析算法行为。

实验结果

研究问题

• RQ1 现有GSL算法在不同类型图数据集（包括同构、异构和图级任务）上的表现如何？
• RQ2 GSL方法在各种扰动（如噪声特征、结构损坏和不完整监督）下的鲁棒性如何？
• RQ3 从训练时间和内存使用角度，GSL算法的计算复杂性如何比较？
• RQ4 哪些GSL方法在多种基准上持续优于基线模型？它们在何种条件下表现最佳？
• RQ5 与标准GNN相比，GSL方法在表示学习方面提升了多少，特别是在低数据或噪声环境下？

主要发现

• GSL算法在节点和图分类任务上均持续优于标准GNN（如GCN、GAT），其中HGP-SL在IMDB-B上达到81.96%的准确率，在COLLAB上达到82.14%。
• GTN和HGSL在异构数据集上表现最佳，HGSL在ACM上达到93.23%的宏F1值，在Yelp上达到92.79%，凸显了建模异质性的重要性。
• SUBLIME和HES-GSL在同构节点级任务中表现强劲，分别在Cora上达到75.08%和77.08%的准确率。
• VIB-GSL在不同随机种子下表现出高度不稳定性，且未能持续超越基线模型，可能由于超参数敏感性以及缺乏官方训练脚本。
• 鲁棒性分析表明，不同算法在结构和特征扰动下的鲁棒性差异显著，其中STABLE和SUBLIME表现出强韧性。
• 该基准揭示了模型复杂性存在显著差异，部分方法如NodeFormer需要显著更多的时间和内存，表明性能与效率之间存在权衡。