[論文レビュー] Finding Global Homophily in Graph Neural Networks When Meeting Heterophily

Xiang Li, Renyu Zhu+5 more|arXiv (Cornell University)|May 15, 2022

Advanced Graph Neural Networks被引用数 37

ひとこと要約

GloGNNおよびGloGNN++は、層ごとに係数行列を学習してノード間の相関を捉え、グローバルなグラフノードから情報を集約することで、異質性のあるグラフにおいて強力な性能と効率を達成します。係数行列の閉形式解と線形時間の集約を提供し、理論的なグルーピング保証を備えています。

ABSTRACT

We investigate graph neural networks on graphs with heterophily. Some existing methods amplify a node's neighborhood with multi-hop neighbors to include more nodes with homophily. However, it is a significant challenge to set personalized neighborhood sizes for different nodes. Further, for other homophilous nodes excluded in the neighborhood, they are ignored for information aggregation. To address these problems, we propose two models GloGNN and GloGNN++, which generate a node's embedding by aggregating information from global nodes in the graph. In each layer, both models learn a coefficient matrix to capture the correlations between nodes, based on which neighborhood aggregation is performed. The coefficient matrix allows signed values and is derived from an optimization problem that has a closed-form solution. We further accelerate neighborhood aggregation and derive a linear time complexity. We theoretically explain the models' effectiveness by proving that both the coefficient matrix and the generated node embedding matrix have the desired grouping effect. We conduct extensive experiments to compare our models against 11 other competitors on 15 benchmark datasets in a wide range of domains, scales and graph heterophilies. Experimental results show that our methods achieve superior performance and are also very efficient.

研究の動機と目的

• 局所近傍に同質性が欠如する異質性グラフにおいてGNNを改善する動機付け。
• 学習された係数行列を用いたグローバル近傍集約フレームワークの提案。
• 層ごとに線形時間計算量で効率的かつスケーラブルな訓練を提供。
• 係数行列と埋め込みのグルーピング効果による理論的正当化を提供。
• 多様なデータセットにおいて複数のベースラインを上回る優位性を示す。

提案手法

• 各ノードを層ごとの係数行列 Z(l) を用いて全グラフノードを使って表現し、H(l) = Z(l)H(l) + O(l) となる。
• 特徴量・トポロジ・多跳到達性正則化を組み込んだ2次目的関数から Z(l)* の閉形式解を導出する。
• 行列積の順序を最適化して三次・二次の計算コストを回避し、層ごとに線形時間の集約を実現する。
• グルーピング効果を証明する：類似ノードは Z(l)*、Z(l)*^T、および H(l+1) の行が類似になる。
• Z(l) の最適化に対して対角の特徴重要度行列 Sigma を用いた横方向のアテンションを追加して GloGNN++ に拡張する。

実験結果

リサーチクエスチョン

• RQ1 グローバルノードベースの集約は、局所的な近傍法よりも異質性グラフのグローバル同質性をより効果的に捉えられるのか。
• RQ2 グローバル集約を導く閉形式の係数行列が存在し、集約を線形時間で実行できるのか。
• RQ3 学習された係数と埋め込みはパフォーマンスの利点を説明するグルーピング挙動を示すか。
• RQ4 GloGNN++ における特徴ごとのアテンション（Sigma）の導入は GloGNN を超える結果を生むのか。
• RQ5 GloGNN および GloGNN++ は、小規模および大規模な異質性グラフにおいて最先端のベースラインとどう比較されるのか。

主な発見

• GloGNNとGloGNN++は、15の異質性の多様なデータセットで11のベースラインを上回り、平均的にも強力な性能を示した。
• モデルは線形時間の集約を可能にする閉形式の Z(l)* を用い、三次/二次コストを回避する。
• Z(l)* および生成された埋め込み H(l+1) はグルーピング効果を示し、類似ノードは類似の係数と表現を得る。
• GloGNN++ は特徴ごとのアテンション（Sigma）を追加して GloGNN の性能をさらに向上させる。
• GloGNN および GloGNN++ は大規模グラフにおいて迅速な収束と高い効率を示し、いくつかの異質性グラフ向け手法より優れている。