[論文レビュー] GSLB: The Graph Structure Learning Benchmark

Zhixun Li, Liang Wang+10 more|arXiv (Cornell University)|Oct 8, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

本稿では、均質的・非均質的・グラフレベルのタスクをカバーする20種類の多様なグラフデータセットと、16種類の最先端GSLアルゴリズムを統合した、Graph Structure Learning (GSL) のための包括的で初めてのベンチマーク、GSLBを紹介する。本研究では、有効性、耐性、複雑性の3つの次元から手法を評価し、GSLが下流タスクにおける性能を顕著に向上させることを示した。また、公開されたコードベースにより、今後の研究における標準化・再現可能性の枠組みを提供した。

ABSTRACT

Graph Structure Learning (GSL) has recently garnered considerable attention due to its ability to optimize both the parameters of Graph Neural Networks (GNNs) and the computation graph structure simultaneously. Despite the proliferation of GSL methods developed in recent years, there is no standard experimental setting or fair comparison for performance evaluation, which creates a great obstacle to understanding the progress in this field. To fill this gap, we systematically analyze the performance of GSL in different scenarios and develop a comprehensive Graph Structure Learning Benchmark (GSLB) curated from 20 diverse graph datasets and 16 distinct GSL algorithms. Specifically, GSLB systematically investigates the characteristics of GSL in terms of three dimensions: effectiveness, robustness, and complexity. We comprehensively evaluate state-of-the-art GSL algorithms in node- and graph-level tasks, and analyze their performance in robust learning and model complexity. Further, to facilitate reproducible research, we have developed an easy-to-use library for training, evaluating, and visualizing different GSL methods. Empirical results of our extensive experiments demonstrate the ability of GSL and reveal its potential benefits on various downstream tasks, offering insights and opportunities for future research. The code of GSLB is available at: https://github.com/GSL-Benchmark/GSLB.

研究の動機と目的

• 実験設定やデータセットの不一致に起因する、Graph Structure Learning (GSL) の分野における標準化された評価の欠如に対処すること。
• 多様なグラフタイプや学習シナリオをカバーする、GSLアルゴリズムの公平かつ包括的な比較のための統一ベンチマークを確立すること。
• 有効性、耐性（教師信号、構造、特徴量の摂動に対する耐性）、計算複雑性の観点から、GSL手法を体系的に評価すること。
• GSL手法のトレーニング・評価・可視化を容易にする、ユーザーフレンドリーなライブラリを提供することで、再現可能な研究を促進すること。
• ノードレベルおよびグラフレベルのタスクにおいて、現在のGSLアルゴリズムの性能と限界についての実証的知見を提供すること。

提案手法

• 均質的・非均質的・グラフレベルのタスクをカバーする20種類の多様なグラフデータセット（Cora, PubMed, IMDB-B, Peptides-Funcなど）を収集し、ベンチマークを構築した。
• LDS, GRCN, ProGNN, GTN, HGSL, HGP-SL, VIB-GSL など、異なるGSLパラダイムを代表する16種類の最先端GSLアルゴリズムを選定した。
• すべてのデータセットとアルゴリズムにわたる一貫した訓練/検証/テスト分割とハイパーパrameter設定を備えた、標準化された評価プロトコルを設計した。
• 有効性（ノード分類・グラフ分類の正解率）、耐性（教師信号・構造・特徴量の摂動に対する耐性）、複雑性（実行時間・メモリ使用量）の3次元で手法を評価した。
• トレーニング・評価・可視化を可能にするモジュラーかつオープンソースのライブラリを実装し、再現可能性と使いやすさを確保した。
• 同型的および非同型的グラフ設定における広範なアブレーションスタディと比較を通じて、アルゴリズムの挙動を分析した。

実験結果

リサーチクエスチョン

• RQ1 均質的・非均質的・グラフレベルのタスクを含む、さまざまな種類のグラフデータセットにおいて、既存のGSLアルゴリズムはどのように性能を発揮するか？
• RQ2 ノイズの多い特徴量、損傷した構造、不完全な教師信号といったさまざまな摂動に対して、GSL手法の耐性はどの程度か？
• RQ3 トレーニング時間とメモリ使用量の観点から、GSLアルゴリズムの計算複雑性はどのように比較できるか？
• RQ4 どのGSL手法が多様なベンチマークで一貫してベースラインを上回り、どのような条件下で優れた性能を発揮するか？
• RQ5 特にデータ量が少ない、またはノイズが多い環境下において、GSL手法は標準的なGNNと比較して表現学習をどの程度向上させるか？

主な発見

• GSLアルゴリズムは、ノード分類およびグラフ分類タスクにおいて、標準的なGNN（例：GCN, GAT）を常に上回る性能を示した。特にHGP-SLは、IMDB-Bで81.96%、COLLABで82.14%の正解率を達成した。
• GTNとHGSLは非均質的データセットで最高の性能を発揮し、HGSLはACMで93.23%のマクロF1スコア、Yelpで92.79%を記録した。これは、非均質性のモデリングの重要性を示している。
• SUBLIMEとHES-GSLは、均質的ノードレベルタスクで優れた性能を示し、それぞれCoraで75.08%および77.08%の正解率を達成した。
• VIB-GSLは、乱数シードに依存した高い不安定性を示し、一貫してベースラインモデルを上回れなかった。これはハイパーパrameterへの感受性と、公式のトレーニングスクリプトの欠如による可能性が大きい。
• 耐性分析の結果、構造および特徴量摂動に対する耐性はアルゴリズムごとに顕著に異なることが判明。STABLEとSUBLIMEは特に高い耐性を示した。
• ベンチマークの分析から、モデルの複雑性は大きくばらつきを示しており、NodeFormerのような一部の手法は著しく長い実行時間とメモリ使用量を要することが判明。これは、性能と効率のトレードオフを示している。