[論文レビュー] When Do Graph Neural Networks Help with Node Classification? Investigating the Impact of Homophily Principle on Node Distinguishability

Sitao Luan, Chenqing Hua+7 more|arXiv (Cornell University)|Apr 25, 2023

Advanced Graph Neural Networks被引用数 12

ひとこと要約

本論文は、CSBM-Hを導入して varying homophily の下でクラス内およびクラス間ノード識別性（ND）を共同に研究し、2つのND指標（Probabilistic Bayes Error and negative generalized Jeffreys divergence）を提案し、グラフフィルタと次数分布がNDに与える影響を分析し、従来の同種性指標を超えたGNNの優位性を予測する分類器ベースの性能指標（CPM）を提案する。

ABSTRACT

Homophily principle, i.e., nodes with the same labels are more likely to be connected, has been believed to be the main reason for the performance superiority of Graph Neural Networks (GNNs) over Neural Networks on node classification tasks. Recent research suggests that, even in the absence of homophily, the advantage of GNNs still exists as long as nodes from the same class share similar neighborhood patterns. However, this argument only considers intra-class Node Distinguishability (ND) but neglects inter-class ND, which provides incomplete understanding of homophily on GNNs. In this paper, we first demonstrate such deficiency with examples and argue that an ideal situation for ND is to have smaller intra-class ND than inter-class ND. To formulate this idea and study ND deeply, we propose Contextual Stochastic Block Model for Homophily (CSBM-H) and define two metrics, Probabilistic Bayes Error (PBE) and negative generalized Jeffreys divergence, to quantify ND. With the metrics, we visualize and analyze how graph filters, node degree distributions and class variances influence ND, and investigate the combined effect of intra- and inter-class ND. Besides, we discovered the mid-homophily pitfall, which occurs widely in graph datasets. Furthermore, we verified that, in real-work tasks, the superiority of GNNs is indeed closely related to both intra- and inter-class ND regardless of homophily levels. Grounded in this observation, we propose a new hypothesis-testing based performance metric beyond homophily, which is non-linear, feature-based and can provide statistical threshold value for GNNs' the superiority. Experiments indicate that it is significantly more effective than the existing homophily metrics on revealing the advantage and disadvantage of graph-aware modes on both synthetic and benchmark real-world datasets.

研究の動機と目的

• 同士のクラス内距離とクラス間距離の双方を考慮して、同種性がノード識別性に与える影響を包括的に理解する動機付け。
• 同種性、クラス分散、ノード度を明示的に取り入れたグラフ生成モデルCSBM-Hを提案し、NDを研究する。
• CSBM-Hの下でNDを定量化するために、Probabilistic Bayes Errorとnegative generalized Jeffreys divergenceを定義・計算する。
• グラフフィルタ（LP、FP、HP）と次数分布がNDに及ぼす影響を分析し、中間同種性の落とし穴を特定する。
• 非線形かつ特徴量ベースの性能指標CPMを提案・評価し、グラフ認識モデルがグラフ非依存モデルを上回るときの予測を行う。

提案手法

• CSBM-Hを explicitな同種性パラメータhとクラス分散σ0^2、σ1^2を持つ二クラスコンテキスト付きブロックモデルとして導入する。
• CSBM-Hのベイズ分類器を導出し、決定境界をパラメータa, b, cを用いてQ(x)として表現する。
• Q(x)の一般化カイ二乗分布を用いてNDを定量化するProbabilistic Bayes Error（PBE）を定義する。
• NDをENNDとNVR項に分解するnegative generalized Jeffreys divergence D_NGJ(CSBM-H)を定義する。
• LP（A_rw）、全通過、HP（I - A_rw）フィルタ付き特徴量が解析的表現とアブレーション研究を通じてNDに与える影響を示す。
• 仮説検定の閾値を用いたClassifier-based Performance Metric（CPM）を提案し、GNNの優位性を予測する。

Figure 1: Example of intra- and inter-class node distinguishability.

実験結果

リサーチクエスチョン

• RQ1 クラス内NDとクラス間NDはどのように相互作用して、ノード分類の有効性を決定するのか。
• RQ2 同種性レベル、クラス分散、ノード度がグラフフィルタの下でNDをどのように形作るのか。
• RQ3 非線形で特徴量ベースの指標（CPM）は、従来の同種性指標を超えてグラフ認識モデルの利得を閾値設定できるのか。
• RQ4 LP、FP、HPのグラフフィルタは、さまざまな同種性レジームでNDにどのような影響を与えるのか。
• RQ5 実世界データセットは、中間同種性の落とし穴（中程度の同種性がNDやモデル性能を悪化させる）を示すのか。

主な発見

• NDはクラス内距離だけでなくクラス間距離にも依存し、クラス内NDがクラス間NDより小さいほどノード分類には理想的である。
• CSBM-Hの下で、LPフィルタ付き特徴量に対してPBEとD_NGJ(CSBM-H)は同種性とベル型の関係を示し、中間同種性の落とし穴を示唆する。
• HPフィルタは異質性が高い領域でNDを改善し、LPフィルタは低・高同種性のレジームで有効、FPは中〜高同種性で有利である。
• アブレーション実験は、高変動クラス度がLPおよびHPのNDを縮小しFPレジームを拡大する一方、低変動クラス度を増やすと微妙な影響を与えることを示す。
• CPMは仮説検定ベースの指標であり、合成データセットおよび実データセットの両方で、グラフ認識法が優れていると予測する際の従来の同種性指標よりも優れている。

(b) $D_{\text{NGJ}}$