[論文レビュー] Wiki-CS: A Wikipedia-Based Benchmark for Graph Neural Networks

Péter Mernyei, Cătălina Cangea|arXiv (Cornell University)|Jul 6, 2020

Advanced Graph Neural Networks参考文献 16被引用数 33

ひとこと要約

Wiki-CSは、高い連結性を持つ10個のCS関連クラスのWikipedia由来グラフデータセットを導入し、半教師付きノード分類と単一リレーションのリンク予測GNNのベンチマークに用いる。新しいドメインで標準的なGNNの競争力のある性能を示している。

ABSTRACT

We present Wiki-CS, a novel dataset derived from Wikipedia for benchmarking Graph Neural Networks. The dataset consists of nodes corresponding to Computer Science articles, with edges based on hyperlinks and 10 classes representing different branches of the field. We use the dataset to evaluate semi-supervised node classification and single-relation link prediction models. Our experiments show that these methods perform well on a new domain, with structural properties different from earlier benchmarks. The dataset is publicly available, along with the implementation of the data pipeline and the benchmark experiments, at https://github.com/pmernyei/wiki-cs-dataset .

研究の動機と目的

• 標準の引用ネットワークを超えたGNNの頑健なベンチマーク作成の動機付けとして、異なる構造特性を持つ新しいドメインを導入する。
• ノードの高い連結性を持つWikipediaのカテゴリから、10クラスのCSに焦点を当てたデータセットを半教師あり学習のために作成する。
• 一貫した再現性のあるベンチマークを可能にするために、学習/検証/テスト分割と特徴表現を提供する。

提案手法

• Wikipediaカテゴリを整理・整備して10のCS関連クラスを形成し、多ラベルページを剪定する。
• 記事本文のテキストを用いて、事前学習済みGloVe埋め込みを平均して300次元のノード特徴量を生成する。
• GCN、GAT、およびAPPNPによる半教師付きノード分類を評価し、非構造ベースのベースライン（MLP、SVM）を併用する。
• train/val/test分割でGraphStar、VGAE、およびMLPベースラインを用いた単一リレーションのリンク予測を実施し、ROC-AUCとAPを報告する。
• 頑健性を測るために複数のランダムな訓練分割（20分割）を用い、95%ブートストラップCI付きの平均精度を報告する。

実験結果

リサーチクエスチョン

• RQ1 Wiki-CSにおけるグラフニューラルネットワークの性能は、従来の引用ベンチマークとどう比較されるか？
• RQ2 標準のGNNアーキテクチャ（GCN、GAT、APPNP）は、高連結性のWikipedia由来グラフでも競争力のある性能を維持するか？
• RQ3 Wiki-CSにおけるノード分類の非構造モデル（MLP、SVM）のベースライン性能はどれくらいか？
• RQ4 確立されたベンチマークに対して、Wiki-CSでのリンク予測手法の性能はどうか？

主な発見

モデル	精度
SVM	72.63%
MLP	73.17% ± 0.19%
GCN	79.07% ± 0.10%
GAT	79.63% ± 0.10%
APPNP	79.84% ± 0.10%

• GCN、GAT、およびAPPNPは、Wiki-CSのノード分類で非構造ベースラインより高い精度を達成する。
• APPNPは、試験したモデルの中で最も高いノード分類精度を示す（79.84%の平均、95% CI）。
• SVMとMLPはノード分類でより低い精度を達成する（それぞれ72.63%、73.17%）。
• Wiki-CSは、Cora/CiteSeer/PubMedより有意に高い連結性（平均次数36.94）と短い平均最短経路長（3.01）を示し、異なる近隣構造を示唆する。
• リンク予測では、GraphStarとMLPがROC-AUCを0.97超えを達成し、報告された実行の中でGraphStarが最高のROC-AUCを持つ（0.9793）。
• 各クラスあたり10,000の訓練例に減らしても、GraphStarとMLPのリンク予測指標は高いままであり、このデータセットでのネガティブサンプリングが容易であることを示唆している。