[論文レビュー] Label-Wise Graph Convolutional Network for Heterophilic Graphs

Enyan Dai, Zhou, Shijie+2 more|arXiv (Cornell University)|Oct 15, 2021

Advanced Graph Neural Networks参考文献 32被引用数 5

ひとこと要約

本稿では、ラベルごとのメッセージパッシングを用いることで異性性の近傍コンテキストを保持する、Label-Wise Graph Convolutional Network (LW-GCN) という新しいGNNフレームワークを提案する。これにより、同性性および異性性の両方のグラフにおいて効果的なノード分類が可能になる。疑似ラベル予測器と二段階最適化を組み合わせることで、ラベルごとのGNNと標準GNNの間で自動的に選択が可能となり、同性性度の事前知識がなくても、多様なグラフタイプで最先端の性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved remarkable performance in modeling graphs for various applications. However, most existing GNNs assume the graphs exhibit strong homophily in node labels, i.e., nodes with similar labels are connected in the graphs. They fail to generalize to heterophilic graphs where linked nodes may have dissimilar labels and attributes. Therefore, in this paper, we investigate a novel framework that performs well on graphs with either homophily or heterophily. More specifically, we propose a label-wise message passing mechanism to avoid the negative effects caused by aggregating dissimilar node representations and preserve the heterophilic contexts for representation learning. We further propose a bi-level optimization method to automatically select the model for graphs with homophily/heterophily. Theoretical analysis and extensive experiments demonstrate the effectiveness of our proposed framework for node classification on both homophilic and heterophilic graphs.

研究の動機と目的

• 既存のGNNが同性性仮定を内蔵しているため、異性性グラフで失敗するという限界を解消すること。
• 各ラベルごとに近傍を別々に集約することで、識別性の高い異性性の近傍コンテキストを保持すること。
• 初期段階でラベルが入手できないスパarsely labeledグラフにおいても、有効な学習を可能にすること。
• 二段階最適化を用いて、グラフの特性に基づき同性性GNNと異性性GNNの間で自動的に最適なモデルを選択すること。
• 手動チューニングなしで、同性性度が異なるさまざまなグラフにおいても強力な性能を発揮すること。

提案手法

• クラスラベルに基づいて近傍を集約するラベルごとのメッセージパッシングを導入し、文脈に特化した表現を保持する。
• 学習可能な疑似ラベル予測器を用いて、ラベルが欠損しているノードの初期ラベルを生成し、ラベルが少ない状況でもラベルごとの集約を可能にする。
• 二段階最適化フレームワークを用いて、疑似ラベル予測器と最適なモデル（LW-GCN または 標準GNN）を検証データ上で同時に学習する。
• 両方のGNN（ラベルごとのGNNと標準GNN）のバックボーンとしてGCNIIを採用し、スケーラビリティと性能を確保する。
• 二ストリームアーキテクチャを採用：一方はラベルごとの集約用、もう一方は標準的な同性性メッセージパッシング用。メタラーニングによる動的選択を実現する。
• 理論的分析を用いて、ラベルごとの集約が異性性設定における表現の識別性を向上させることを示す。

実験結果

リサーチクエスチョン

• RQ1 異性性の度合いが標準GCNモデルの性能にどのように影響するか？
• RQ2 ラベルごとのメッセージパッシングは、異性性グラフにおいて識別性の高い近傍コンテキストを保持できるか？
• RQ3 スパarsely labeledグラフにおいて、疑似ラベルを効果的に活用してラベルごとの集約を可能にする方法は何か？
• RQ4 二段階最適化戦略により、与えられたグラフに対して最適なモデル（LW-GCN または 標準GNN）を自動的に選択できるか？
• RQ5 提案フレームワークは、同性性および異性性の両方のグラフにおいて、既存のGNNを上回る性能を発揮するか？

主な発見

• テキサスデータセット（異性性）では、LW-GCNが86.2%の精度を達成し、GCN（57.6%）とGCNII（68.6%）を大きく上回り、異性性設定における有効性を示した。
• コルアデータセット（同性性）では、LW-GCNが84.3%の精度を達成し、GCNIIと同等の性能を示し、標準GCN（81.6%）を上回った。これにより、優れた一般化性能が確認された。
• アブレーションスタディの結果、疑似ラベルの品質が極めて重要であることが判明した。MLPによる疑似ラベル予測器をGCNに置き換えると、異性性グラフでの性能が低下し、正確な疑似ラベルの重要性が浮き彫りになった。
• 標準GNNストリーム（LW-GCN\G）を削除すると、同性性グラフでの性能が悪化した。これは、二重ストリームアーキテクチャの必要性を裏付けた。
• 表現分析の結果、LW-GCNはGCNよりも顕著に高いクラス内類似度と低いクラス間類似度を示し、識別性の向上が確認された。
• 二段階最適化モジュールは、同性性グラフではGCNII、異性性グラフではLW-GCNを正しく選択した。これにより、その適応性が検証された。