[論文レビュー] Beyond Real-world Benchmark Datasets: An Empirical Study of Node Classification with GNNs

Seiji Maekawa, Koki Noda+2 more|arXiv (Cornell University)|Jun 18, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本論文は、クラス不均衡、同型性/異型性、属性バイアス、グラフサイズといった主要なグラフ特性を制御できる合成グラフ生成ツール（GenCAT）を用いて、ノード分類におけるグラフニューラルネットワーク（GNN）の包括的な実験的分析を実施している。その結果、GNNはクラス不均衡および異型性の状況で困難を示し、単純なモデル（例：SGC）が不均衡な設定では複雑なGNNよりも優れた性能を示すことが判明した。また、多くのGNNは異型的グラフにおいてトポロジーを十分に活用できていないことが明らかになった。

ABSTRACT

Graph Neural Networks (GNNs) have achieved great success on a node classification task. Despite the broad interest in developing and evaluating GNNs, they have been assessed with limited benchmark datasets. As a result, the existing evaluation of GNNs lacks fine-grained analysis from various characteristics of graphs. Motivated by this, we conduct extensive experiments with a synthetic graph generator that can generate graphs having controlled characteristics for fine-grained analysis. Our empirical studies clarify the strengths and weaknesses of GNNs from four major characteristics of real-world graphs with class labels of nodes, i.e., 1) class size distributions (balanced vs. imbalanced), 2) edge connection proportions between classes (homophilic vs. heterophilic), 3) attribute values (biased vs. random), and 4) graph sizes (small vs. large). In addition, to foster future research on GNNs, we publicly release our codebase that allows users to evaluate various GNNs with various graphs. We hope this work offers interesting insights for future research.

研究の動機と目的

• 既存のGNN評価において、特性が固定された限られた実世界データセットに依存しているため、細分化された分析が不足している問題に対処する。
• クラスサイズ分布、エッジの同型性、属性バイアス、グラフサイズの4つの主要なグラフ特性がGNNのパフォーマンスに与える影響を調査する。
• 他の要因を一定に保ちながら個々のグラフ特性を隔離・変化させることで、GNNの挙動を因果的に分析可能な、体系的で制御可能な評価フレームワークを提供する。
• さまざまな合成グラフ設定において再現可能で拡張可能なGNNベンチマークを実施できるオープンソースのコードベースを公開する。

提案手法

• クラスサイズ分布、同型性/異型性、属性バイアス、グラフサイズの制御が可能な最先端の合成グラフ生成ツール「GenCAT」を用いる。
• 標準化された評価プロトコルを採用：訓練/検証/テスト分割、固定されたハイパーパramータ、およびすべてのGNNモデルが全グラフタイプで一貫した訓練を受ける。
• SGC、GCN、GAT、GraphSAGE、GINといった多様なGNNを、生成されたすべてのグラフ設定で評価し、グラフ構造に起因するパフォーマンス差を隔離する。
• 他の要因を一定に保ちながら、1つまたは2つのグラフ特性を段階的に変化させることで、GNN挙動の因果的分析を可能にする。
• 標準的なノード分類指標（例：正確度、マクロF1スコア）を用いて、さまざまな設定におけるパフォーマンスを定量化する。
• 今後の研究者が再現可能で拡張可能なベンチマークフレームワークを活用できるよう、PyTorchベースのオープンソースライブラリを公開する。

実験結果

リサーチクエスチョン

• RQ1 クラスサイズの不均衡は、多クラスノード分類タスクにおけるGNNのパフォーマンスにどのように影響するか？
• RQ2 低クラス内エッジ接続性（すなわち、異型的グラフ）におけるGNNの効果性は、同型的グラフと比較してどの程度高いか？
• RQ3 ノード属性値（バイアスあり vs. ランダム）がGNNパフォーマンスにどの程度影響を及えるか？
• RQ4 グラフサイズ（小規模 vs. 大規模）は、GNNの一般化性能およびスケーラビリティにどのように影響するか？
• RQ5 クラス不均衡や異型性といった困難な状況において、最先端のGNNはSGCのような単純なモデルと比較してどの程度優れているか？

主な発見

• 最先端のGNNモデルを含め、GNNはクラス不均衡の影響を著しく受ける。損失関数のバイアスにより、マイノリティクラスのパフォーマンスが急激に低下する。
• 単純なSGCモデルは、不均衡な設定においてより複雑なGNNを上回る性能を示す。深層モデルはそのインダクティブバイアスにより、マジョリティクラスに過剰適合する。
• 同じクラスのノード同士がうまく接続されていない異型的グラフでは、GNNはグラフに依存しないMLPよりもわずかな利点しか得られない。これは、トポロジー構造を十分に活用できていないことを示している。
• 高異型性の状況では、GNNはMLPに比べて改善が限定的である。これは、多くの場合、構造的情報を無視するか、うまく活用できないことを示唆している。
• 属性バイアスはGNNパフォーマンスに顕著な影響を与える。有益な属性値は、特に低同型性の状況で正確度を顕著に向上させる。
• グラフサイズは測定可能な影響を与えるが、それほど顕著ではない。GNNは大規模グラフに対してもある程度スケーラブルであるが、極端な状況（特に高異型性と不均衡を併せ持つ場合）ではパフォーマンスの劣化が観察される。