[論文レビュー] Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs

Jiong Zhu, Yujun Yan+4 more|arXiv (Cornell University)|Jun 19, 2020

Advanced Graph Neural Networks被引用数 265

ひとこと要約

本論文はGNNが異質性（heterophily）の下で苦戦することを示し、設計D1–D3とH2GCNを導入して、異質性における最大で40%の精度向上を達成し、同質性の下でも競争力のある性能を示す。

ABSTRACT

We investigate the representation power of graph neural networks in the semi-supervised node classification task under heterophily or low homophily, i.e., in networks where connected nodes may have different class labels and dissimilar features. Many popular GNNs fail to generalize to this setting, and are even outperformed by models that ignore the graph structure (e.g., multilayer perceptrons). Motivated by this limitation, we identify a set of key designs -- ego- and neighbor-embedding separation, higher-order neighborhoods, and combination of intermediate representations -- that boost learning from the graph structure under heterophily. We combine them into a graph neural network, H2GCN, which we use as the base method to empirically evaluate the effectiveness of the identified designs. Going beyond the traditional benchmarks with strong homophily, our empirical analysis shows that the identified designs increase the accuracy of GNNs by up to 40% and 27% over models without them on synthetic and real networks with heterophily, respectively, and yield competitive performance under homophily.

研究の動機と目的

• 異質性/低同質性の下での半教師付きノード分類におけるGNNの表現力を調査する。
• 同質性を損なうことなく、グラフ構造からの学習を高める設計原理を特定する。
• 統一モデル（H2GCN）を提案し、異質性と同質性の両方に適応できるようにして、合成ネットワークと実ネットワークの有効性を評価する。

提案手法

• 異質性のための3つの設計を特定する：エゴ埋め込みと近傍埋め込みの分離(D1)、高次の近傍(D2)、および中間表現の組み合わせ(D3)。
• それぞれの設計を理論的に正当化し、H2GCNフレームワークに組み込む。
• S1で特徴埋め込みを備えたH2GCNを実装し、S2で二層のサブ近傍集約(N1/N2)、S3で結合ベースの最終表現を行う。
• 同質性の範囲にわたる合成データと実データネットワークを対象に評価し、設計貢献を定量化するアブレーション研究を含める。
• 異質性における利得と同質性におけるパリティを評価するため、ベースラインのGNNsおよびMLPと比較する。

実験結果

リサーチクエスチョン

• RQ1 半教師付きノード分類において、異質性/同質性の程度が異なるネットワークでGNNはどのように性能を示すか。
• RQ2 エゴ埋め込みと近傍埋め込みの分離、高次の近傍、および中間表現の結合は、異質性の下で学習を改善するか。
• RQ3 統一モデル（H2GCN）は異質性と同質性の両方に適応し、データセット全体で既存のGNNを上回ることができるか。
• RQ4 合成データセットと実データセットにおける各設計要素（D1–D3）の実証的影響は何か。

主な発見

• 既存のGNNは異質性の下で性能が低下し、時にはグラフに依存しないMLPを上回ることもある。
• 設計D1–D3は異質性の下でグラフ構造からの学習を著しく向上させ、アブレーションにより合成データで最大で40%のゲインを示す。
• D1–D3を組み合わせたH2GCNは、同質性のスペクトラム全体で強力な性能を発揮し、異質性設定で複数のベースラインを上回る。
• 異質性を含む実データのベンチマークでは、これらの設計を活用したモデルが非設計モデルを最大で27%上回る。
• 高次の近傍(D2)は異質性下で特に有益で、エゴ埋め込み分離(D1)は低同質性にとって重要であり、中間表現の結合(D3)を組み合わせると精度がさらに向上する。