[論文レビュー] Benchmarking Graph Neural Networks on Link Prediction

Xing Wang, Alexander Vinel|arXiv (Cornell University)|Feb 24, 2021

Advanced Graph Neural Networks参考文献 14被引用数 7

ひとこと要約

本研究では、Cora、CiteSeer、PubMed、Wiki-CSの4つのデータセットにおいて、一貫した訓練/検証/テスト分割と50回の繰り返しを用いて、GCN、GraphSAGE、GAT、VGAEの4つの代表的なGNNアーキテクチャをリンク予測タスクでベンチマークした。結果として、すべてのモデルがAUCスコア約90%で類似した性能を示したが、GCNとVGAEはWiki-CSにおいてより高い性能（AUC >95%）を達成した。一方、GraphSAGEは特定のデータセットで高い分散と低いロバストネスを示した。

ABSTRACT

In this paper, we benchmark several existing graph neural network (GNN) models on different datasets for link predictions. In particular, the graph convolutional network (GCN), GraphSAGE, graph attention network (GAT) as well as variational graph auto-encoder (VGAE) are implemented dedicated to link prediction tasks, in-depth analysis are performed, and results from several different papers are replicated, also a more fair and systematic comparison are provided. Our experiments show these GNN architectures perform similarly on various benchmarks for link prediction tasks.

研究の動機と目的

• 先行ベンチマークにおける不一致を解消し、GNNモデルのリンク予測における公平で体系的な比較を提供すること。
• GCN、GraphSAGE、GAT、VGAEといった複数の最先端GNNアーキテクチャを、引用ネットワークと、より大規模で接続度の高いWikipediaベースの分野（Wiki-CS）の両方で評価すること。
• 文献[10]および[14]の先行結果を再現・拡張し、訓練分割と評価プロトコルの再現可能性と一貫性を確保すること。
• 学習済みノード埋め込みのt-SNE可視化を通じて、モデルのロバストネスと表現品質を分析すること。
• モデルやデータセットごとの性能差および過学習の兆候を特定すること。

提案手法

• 全モデル・全データセットに対して、一貫した85%-5%-10%の訓練/検証/テスト分割を用い、公平な比較を実現した。
• リンク予測は、グラフからの正例エッジと非エッジからサンプリングした負例エッジを用いた二値分類タスクとして定式化した。
• Adam最適化手法を用い、初期の学習率は0.01（GATのWiki-CSへの適用時を除き0.001）として200エポック分訓練した。
• 各実験を50回繰り返し、ブートストラップ法を用いて平均性能と95%信頼区間を算出した。
• GCN、GraphSAGE、GAT、VGAEのノード埋め込みを抽出し、表現品質の評価を目的としたt-SNE可視化を実施した。
• 評価指標にはAUCと平均適合度を用い、50回の実験における平均値と標準偏差で報告した。

実験結果

リサーチクエスチョン

• RQ1 同じデータ分割で訓練・評価されたGCN、GraphSAGE、GAT、VGAEは、リンク予測タスクでどの程度の性能を示すか？
• RQ2 引用ネットワークと、高密度なWikipediaベースのネットワークといった、多様なグラフ構造においてGNNモデルに顕著な性能差が現れるか？
• RQ3 スパースなグラフと密度の高いグラフの両方において、性能のばらつき（ロバストネス）がモデルごとにどのように異なるか？
• RQ4 学習済み埋め込みのt-SNE可視化は、意味的なクラス分離や過学習の兆候を明らかにできるか？
• RQ5 本研究の結果は、[10]および[14]のような先行研究の知見をどの程度再現または拡張しているか？

主な発見

• GCNはCora（AUC 0.924）、PubMed（AUC 0.931）、Wiki-CS（AUC 0.957）で最高のAUCスコアを記録し、これらのデータセットにおける強力な一般化性能を示した。
• VGAEはCiteSeerで最高の性能（AUC 0.926）を達成し、この引用ネットワークにおいて他のモデルを上回った。
• GraphSAGEは性能の分散が最も大きく、特にCiteSeerとWiki-CSで顕著で、ロバストネスが低く、過学習の可能性があることが示唆された。
• Cora、CiteSeer、PubMedでは、すべてのモデルがAUCスコア約90%を達成しており、これらのベンチマークにおいて類似した全体的な性能を示した。
• Wiki-CSでは、GCNとVGAEがAUC 95%を超える優れた性能を示し、高密度で大規模なグラフにおいて優れた性能を発揮した。
• t-SNE可視化から、リンク予測性能が優れたモデル（例：CoraにおけるGCN、Wiki-CSにおけるVGAE）は、潜在空間で明確なクラス分離を示した。