[論文レビュー] Are we really making much progress? Revisiting, benchmarking, and refining heterogeneous graph neural networks

Qingsong Lv, Ming Ding+8 more|arXiv (Cornell University)|Dec 30, 2021

Advanced Graph Neural Networks参考文献 36被引用数 52

ひとこと要約

この論文は、12個の著名なヘテロジニアスGNNを体系的に再現し、適切な設定で単純な同質GNNがそれらに匹敵または上回ることを示し、Heterogeneous Graph Benchmark (HGB)と強力な Simple-HGN ベースラインを導入する。

ABSTRACT

Heterogeneous graph neural networks (HGNNs) have been blossoming in recent years, but the unique data processing and evaluation setups used by each work obstruct a full understanding of their advancements. In this work, we present a systematical reproduction of 12 recent HGNNs by using their official codes, datasets, settings, and hyperparameters, revealing surprising findings about the progress of HGNNs. We find that the simple homogeneous GNNs, e.g., GCN and GAT, are largely underestimated due to improper settings. GAT with proper inputs can generally match or outperform all existing HGNNs across various scenarios. To facilitate robust and reproducible HGNN research, we construct the Heterogeneous Graph Benchmark (HGB), consisting of 11 diverse datasets with three tasks. HGB standardizes the process of heterogeneous graph data splits, feature processing, and performance evaluation. Finally, we introduce a simple but very strong baseline Simple-HGN--which significantly outperforms all previous models on HGB--to accelerate the advancement of HGNNs in the future.

研究の動機と目的

• ヘテロジニアスグラフニューラルネットワーク(HGNN)の分野で、公式コード・データセット・設定の下で著名なモデルを再現することにより、どれだけの進展があったかを評価する。
• 実験設定におけるバイアスや、HGNNの進展を過大に見せる可能性のある問題点を特定する。
• 標準化されたベンチマーク(HGB)を提供し、多様なタスクにわたって公正で再現可能なHGNNの評価を可能にする。
• シンプルで強力なベースライン(Simple-HGN)を提案し、HGNNの開発を加速・明確化する。

提案手法

• 公式コード・データセット・ハイパーパラメータを用いた12個の人気HGNNモデルの系統的再現を行い、同質ベースライン（GCN/GAT）と公正に比較する。
• データ漏洩、不適切なベースライン、以前のHGNN研究の非効率性を特定するための実験設定の分析。
• 11データセットと3つのタスクを用いたヘテロジニアスグラフベンチマーク(HGB)の構築。データ分割、特徴処理、評価パイプラインを標準化。
• 標準化されたベースラインに対してHGNNを評価し、タスク間で再現可能な性能を報告。
• Simple-HGNの開発。Learnable edge-type embeddings、残差接続、出力正規化を組み込んだGATベースのモデルで、強力でシンプルなベースラインを示す。

実験結果

リサーチクエスチョン

• RQ1 GCNやGATのような同質GNNは、HGNNと公正に比較した場合、設定が不適切であるために性能が劣るのか？
• RQ2 HGNN文献における一貫性の欠如や過大な進捗主張に寄与する主な要因は何か？
• RQ3 標準化されたベンチマーク(HGB)は、公正で堅牢な比較を可能にし、HGNNの真の進歩を促進できるか？
• RQ4 シンプルで適切に調整されたベースライン(Simple-HGN)は、多様なヘテロジニアスグラフタスクにおいて既存のHGNNモデルを上回るか？

主な発見

• 公正な再現性は、入力と設定が適切に扱われると、シンプルなGNNがしばしばHGNNに匹敵するか優れていることを示す。
• 以前のHGNN研究のいくつかの報告結果は、データ漏洩や不適切な訓練/テスト分割に起因する。
• メタパスは、多くのヘテロデータセットで強力な性能に必須とは限らない。
• 標準化されたベンチマーク(HGB)とそのリーダーボードは、タスクやデータセットを横断した再現可能な評価を可能にする。
• Simple-HGNは、エッジタイプ埋め込み、残差結合、出力正規化を備えたGATベースのモデルで、HGB上で従来のHGNNより一貫して上回る。