[論文レビュー] A critical look at the evaluation of GNNs under heterophily: Are we really making progress?

Oleg Platonov, Denis Kuznedelev+3 more|arXiv (Cornell University)|Feb 22, 2023

Tracheal and airway disorders被引用数 22

ひとこと要約

この論文は標準的な異質性ベンチマークにおけるデータ漏洩と重複の問題を明らかにし、多様な新しい異質性データセットを提案し、標準的な GNN が異質性特化モデルよりも優れていることが多いと示す。

ABSTRACT

Node classification is a classical graph machine learning task on which Graph Neural Networks (GNNs) have recently achieved strong results. However, it is often believed that standard GNNs only work well for homophilous graphs, i.e., graphs where edges tend to connect nodes of the same class. Graphs without this property are called heterophilous, and it is typically assumed that specialized methods are required to achieve strong performance on such graphs. In this work, we challenge this assumption. First, we show that the standard datasets used for evaluating heterophily-specific models have serious drawbacks, making results obtained by using them unreliable. The most significant of these drawbacks is the presence of a large number of duplicate nodes in the datasets Squirrel and Chameleon, which leads to train-test data leakage. We show that removing duplicate nodes strongly affects GNN performance on these datasets. Then, we propose a set of heterophilous graphs of varying properties that we believe can serve as a better benchmark for evaluating the performance of GNNs under heterophily. We show that standard GNNs achieve strong results on these heterophilous graphs, almost always outperforming specialized models. Our datasets and the code for reproducing our experiments are available at https://github.com/yandex-research/heterophilous-graphs

研究の動機と目的

• 広く用いられる異質性ベンチマークの欠陥を浮き彫りにする（例：重複ノードと訓練・テストの漏洩）。
• 異質性下での GNN の評価に適した、さまざまな大規模な異質性データセットを提案する。
• 新しいベンチマーク上で標準的な GNN と異質性特化モデルを実証的に比較し、進捗を評価する。

提案手法

• 既存の異質性データセットを批判的に分析し、その特性（調整済み同質性、ラベル情報性）を測定する。
• 訓練–テスト漏洩を引き起こす重複を特定し、削除後の性能変化を定量化する。
• 10K–50K ノードで、様々な構造特性を持つドメインを横断する5つの新しい異質グラフを作成する。
• 新しいデータセット上で、標準的な GNN と異質性特定モデルを含む、幅広いモデルをベンチマークする。
• エゴベースと近傍埋め込みの分離が異質性下の性能向上要因となるかを調査する。

実験結果

リサーチクエスチョン

• RQ1 標準的な異質性ベンチマークは重複によるデータ漏洩の影響を受け、モデルのランキングにどう影響するか？
• RQ2 新しい多様な異質性ベンチマークで標準的な GNN は異質性特化モデルを上回るか？
• RQ3 エゴ-と近傍埋め込みを分離することが、データセットを横断して一貫して異質性下の性能を向上させるか？

主な発見

• squirrel と chameleon での重複ノードが訓練–テスト漏洩を生み出しており、重複を除去するとモデルの性能が大幅に変化する。
• 新しい異質データセットでは、標準的な GNN がほとんどのデータセットで異質性特化モデルを上回る。
• エゴ-および近傍埋め込みを分離するテクニック（GAT-sep, GT-sep など）は、異質性下で標準 GNN に強い性能をもたらす。
• FSGNN は相対的に強力な異質性特化モデルのままだが、一貫して優位にはならない。全体として、提案ベンチマークでは多くの異質性特化手法が標準 GNN を上回らない。
• ベースラインの中で最良の結果は、エゴと近傍埋め込みを分離するモデルから得られることが多く、これが異質性環境での頑健な戦略であることを示唆している。