[論文レビュー] Demystifying Structural Disparity in Graph Neural Networks: Can One Size Fit All?

Haitao Mao, Zhikai Chen+6 more|arXiv (Cornell University)|Jun 2, 2023

Advanced Graph Neural Networks被引用数 13

ひとこと要約

本論文は、GNNs が同じグラフ内の異なる構造パターン（同質性を示すノードと異質性を示すノード）を持つノード間で不均一に性能を発揮することを示し、理由を説明するための非-i.i.d PAC-Bayesian の一般化境界を提供します。

ABSTRACT

Recent studies on Graph Neural Networks(GNNs) provide both empirical and theoretical evidence supporting their effectiveness in capturing structural patterns on both homophilic and certain heterophilic graphs. Notably, most real-world homophilic and heterophilic graphs are comprised of a mixture of nodes in both homophilic and heterophilic structural patterns, exhibiting a structural disparity. However, the analysis of GNN performance with respect to nodes exhibiting different structural patterns, e.g., homophilic nodes in heterophilic graphs, remains rather limited. In the present study, we provide evidence that Graph Neural Networks(GNNs) on node classification typically perform admirably on homophilic nodes within homophilic graphs and heterophilic nodes within heterophilic graphs while struggling on the opposite node set, exhibiting a performance disparity. We theoretically and empirically identify effects of GNNs on testing nodes exhibiting distinct structural patterns. We then propose a rigorous, non-i.i.d PAC-Bayesian generalization bound for GNNs, revealing reasons for the performance disparity, namely the aggregated feature distance and homophily ratio difference between training and testing nodes. Furthermore, we demonstrate the practical implications of our new findings via (1) elucidating the effectiveness of deeper GNNs; and (2) revealing an over-looked distribution shift factor on graph out-of-distribution problem and proposing a new scenario accordingly.

研究の動機と目的

• 実世界のグラフには、構造的不均等をもたらす同質性ノードと異質性ノードの混在が含まれることを示す。
• GNN の集約が異なる構造パターンを持つノードにどのように影響するかを、実証的および理論的に分析する。
• ノードサブグループ間の性能差を説明するために、非-i.i.d PAC-Bayesian 一般化境界を開発する。
• より深い GNN とグラフの out-of-distribution（分布外）シナリオへの示唆を示す。

提案手法

• 異なる同質性比を持つノードサブグループに対するサブグループの性能を評価するために、GCN を MLP ベースのモデルおよび GLNN と比較する。
• 混在する同質性/異質性サブグループを持つグラフをシミュレートする CSBM-S モデルを提案し、集約特徴の分布を分析する。
• 訓練ノードとテストノードの間の集約特徴距離および同質性比の差に焦点を当てた、GNNsの非-i.i.d PAC-Bayesian 一般化境界を導出する。
• 実データセット（PubMed、Ogbn-arxiv、Chameleon、Squirrel）および合成 CSBM-S バリアントで理論的発見を実証的に検証する。
• より深い GNN がマイノリティノードとマジョリティノードのサブグループに与える影響を調べる。

(a) PubMed ( $h$ =0.79)

実験結果

リサーチクエスチョン

• RQ1 同じグラフ内の異なる構造パターン（同質性 vs 異質性）を持つノードに、GNN の集約はどのように影響しますか？
• RQ2 なぜマジョリティノードとマイノリティノードのサブグループ間でGNNの性能に差が生じるのか、そして1つのモデルで全ノードが良好に動作できるか？
• RQ3 GNNのサブグループ間一般化ギャップを生み出す理論的要因は何か、集約特徴距離と同質性の差がどのように寄与するか？
• RQ4 構造的格差を考慮した場合、より深いGNNやグラフの distribution-out（OOD）シナリオに対する実践的含意は何か？

主な発見

• GNNs は混在グラフの中でマジョリティパターンノードにはしばしば高い性能を示すが、マイノリティパターンノードには低い性能を示す。
• 集約は同一クラス内の同質的/異質的サブグループ間で特徴分布のシフトを生じさせ、格差を生み出す。
• 非-i.i.d PAC-Bayesian の境界は、訓練ノードとテストノード間の集約特徴距離と同質性比の差が大きいほど一般化誤差が増えることを示す。
• より深い GNN は、より高次の情報を捉えることでマイノリティノードの性能をマジョリティノードよりも向上させる傾向がある。
• 構造的格差は、同質性パターンの変化がY|Xに影響を与える環境様の要因として機能しうる、グラフの分布外シナリオを示している。
• PubMed、Ogbn-arxiv、Chameleon、Squirrel に跨る実証結果は、理論的主張を裏付ける。

(b) Ogbn-arxiv ( $h$ =0.63)