[論文レビュー] Benchmarking Graph Neural Networks

Vijay Prakash Dwivedi, Chaitanya K. Joshi+4 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Graph Neural Networks参考文献 100被引用数 233

ひとこと要約

本論文は、オープンソースのモジュラーなベンチマークフレームワークをGNN（Graph Neural Networks）用に提供し、多様な12データセットのコレクション、フェアな比較のための固定パラメータ予算、ラプラシアン固有ベクトルを用いたグラフの位置エンコーディングの探究、そしてAQSOLデータセットの導入を含みます。

ABSTRACT

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

研究の動機と目的

• GNNの多様な実世界および数学的グラフに対するコミュニティ標準の公正なベンチマークフレームワークを確立する。
• 固定パラメータ予算の下で公正な比較を可能にするモジュラーで再現性の高いコードベース（PyTorch/DGL）を提供する。
• Essential数学的グラフと実世界ターゲットを含むAQSOL分子データセットを含むデータセットスイートを拡張する。
• ラプラシアン固有ベクトルを用いたグラフの位置エンコーディング（PE）など、GNN設計への洞察を促す方法を示す。

提案手法

• PyTorchとDGLに基づくデータパイプライン、GNNレイヤー/モデル、訓練・評価、再現性スクリプトを備えたモジュラーなGNNベンチマークフレームワークを導入する。
• 実世界および数学的領域を跨ぐ12の中規模グラフのデータセットコレクションを提供する（Table 1）。
• 2つのパラメータ予算（100kと500k）を実装し、総パラメータ数に依存せずアーキテクチャの公正な比較を可能にする。
• フレームワークの使用例として、ノード特徴量に追加されたラプラシアン固有ベクトルを介したグラフ的位置エンコーディング（PE）を分析する。
• データ前処理、レイヤー、正規化スキームの新アイデアをテストするための拡張方法を説明する。
• 中規模データセットを優先する設計方針が迅速かつ信頼性の高いプロトタイピングに寄与する点を論じる。）

実験結果

リサーチクエスチョン

• RQ1 固定されたパラメータ予算の下で、さまざまなグラフタスクにおいてどのGNNアーキテクチャとビルディングブロックが最も性能を発揮するか？
• RQ2 グラフの位置エンコーディングが実用的なベンチマークにおけるGNNの性能と表現力にどのように影響を与えるか？
• RQ3 ベンチマークはグラフレベル、ノードレベル、エッジレベルのタスクを横断して、異なるGNNカテゴリ（MP-GCNs vs WL-GNNs）とデータセットをどの程度区別できるか？
• RQ4 新しいGNNアイデア、正規化スキーム、プーリング機構の探究をこのフレームワークが受け入れ、加速できるか？

主な発見

• ベンチマークフレームワークはGNNアイデアのプロトタイピングと、集約、表現力、プーリング、正規化、ロバスト性の研究に広く用いられている。
• ラプラシアン固有ベクトルを用いたグラフの位置エンコーディングは、AQSOLデータセットを含む合成・実世界データセットでMP-GCNsの性能を向上させた。
• このフレームワークは、PEおよび関連するGNN強化に関する後続の文献（例：Beaini et al., 2021; Wang et al., 2022; Lim et al., 2022; Kreuzer et al., 2021; Ying et al., 2021; Mialon et al., 2021）を促進した研究を支援した。
• 更新されたフレームワークは、評価シナリオを拡張するために Essentialな数学データセットとAQSOL分子データセットを追加した。
• GitHubリポジトリはコミュニティの関心を集め（2000+スター、380+フォーク）、文献で引用されるなど、オープンソースインフラストラクチャの有用性を示した。