[論文レビュー] OpenGSL: A Comprehensive Benchmark for Graph Structure Learning

Zhiyao Zhou, Sheng Zhou+8 more|arXiv (Cornell University)|Jun 17, 2023

Advanced Graph Neural Networks被引用数 10

ひとこと要約

OpenGSLは、グラフ構造学習（GSL）に対する公正で統一的なベンチマークを提供し、10データセットで13の手法を評価し、同相性、一般化可能性、効率性を分析して、GSLがGNNに有益か害になるかを明らかにする。

ABSTRACT

Graph Neural Networks (GNNs) have emerged as the de facto standard for representation learning on graphs, owing to their ability to effectively integrate graph topology and node attributes. However, the inherent suboptimal nature of node connections, resulting from the complex and contingent formation process of graphs, presents significant challenges in modeling them effectively. To tackle this issue, Graph Structure Learning (GSL), a family of data-centric learning approaches, has garnered substantial attention in recent years. The core concept behind GSL is to jointly optimize the graph structure and the corresponding GNN models. Despite the proposal of numerous GSL methods, the progress in this field remains unclear due to inconsistent experimental protocols, including variations in datasets, data processing techniques, and splitting strategies. In this paper, we introduce OpenGSL, the first comprehensive benchmark for GSL, aimed at addressing this gap. OpenGSL enables a fair comparison among state-of-the-art GSL methods by evaluating them across various popular datasets using uniform data processing and splitting strategies. Through extensive experiments, we observe that existing GSL methods do not consistently outperform vanilla GNN counterparts. We also find that there is no significant correlation between the homophily of the learned structure and task performance, challenging the common belief. Moreover, we observe that the learned graph structure demonstrates a strong generalization ability across different GNN models, despite the high computational and space consumption. We hope that our open-sourced library will facilitate rapid and equitable evaluation and inspire further innovative research in this field. The code of the benchmark can be found in https://github.com/OpenGSL/OpenGSL.

研究の動機と目的

• 標準化されたデータ前処理と分割の下で、既存のGSL手法がどれだけ進展しているかを評価する。
• より同相性の高いグラフ構造を学習することがGSLの性能を向上させるかを調査する。
• 学習された構造の一般化可能性を、異なるGNNバックボーンとシンプルな非-GNNベースラインを用いて評価する。
• 現行のGSL手法の時間・メモリ効率を検討し、実用的な制約を特定する。

提案手法

• 13の最先端GSL手法を統一APIの下で再実装・再現する。
• 公正な比較のため、一貫したデータ処理と分割で10データセットに対して手法を評価する。
• GCNバックボーンを用いて学習・評価を行い、10回の実行の平均±標準偏差を報告する。

Figure 1: Timeline of GSL research. Existing GSL methods are categorized into three groups based on the training procedure. Bottom left corner illustrates the key difference on the interaction between two components.

実験結果

リサーチクエスチョン

• RQ1 RQ1: 公正で標準化された評価の下で、既存のGSL手法はどの程度進歩したか？
• RQ2 RQ2: より高い同相性を持つグラフ構造を学習することは、性能を一貫して改善するか？
• RQ3 RQ3: 学習された構造は、トレーニングのバックボーンを超えた他のGNNモデルへ一般化するか？
• RQ4 RQ4: 既存のGSL手法は、時間と空間の観点で効率的か？

主な発見

• GSL手法は、すべてのデータセットでベースのGCNを一貫して上回るわけではない。
• 学習された構造の同相性は、普遍的により良い性能と相関しない。向上はデータセット依存である。
• 学習された構造は、異なるGNNモデル間で強い一般化能力を示し、LPAやLINKのような非-GNN手法にも有用である可能性がある。
• ほとんどのGSL手法は時間・メモリの非効率性が高く、中にはGCNより190倍長くかかるものや、メモリ使用量が最大66倍高いものもある。

Figure 2: Homophily of learned structures and performances on homophilous datasets. The methods are ordered by homophily.