[論文レビュー] Adaptive Universal Generalized PageRank Graph Neural Network

Eli Chien, Jianhao Peng+2 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Graph Neural Networks参考文献 56被引用数 93

ひとこと要約

GPR-GNNはGeneralized PageRank重みを適応的に学習し、ノード特徴とグラフトポロジーを共同で活用することで、同質性・異質性グラフの双方で高い性能を達成し、深さを犠牲にすることなく過平滑化を緩和します。

ABSTRACT

In many important graph data processing applications the acquired information includes both node features and observations of the graph topology. Graph neural networks (GNNs) are designed to exploit both sources of evidence but they do not optimally trade-off their utility and integrate them in a manner that is also universal. Here, universality refers to independence on homophily or heterophily graph assumptions. We address these issues by introducing a new Generalized PageRank (GPR) GNN architecture that adaptively learns the GPR weights so as to jointly optimize node feature and topological information extraction, regardless of the extent to which the node labels are homophilic or heterophilic. Learned GPR weights automatically adjust to the node label pattern, irrelevant on the type of initialization, and thereby guarantee excellent learning performance for label patterns that are usually hard to handle. Furthermore, they allow one to avoid feature over-smoothing, a process which renders feature information nondiscriminative, without requiring the network to be shallow. Our accompanying theoretical analysis of the GPR-GNN method is facilitated by novel synthetic benchmark datasets generated by the so-called contextual stochastic block model. We also compare the performance of our GNN architecture with that of several state-of-the-art GNNs on the problem of node-classification, using well-known benchmark homophilic and heterophilic datasets. The results demonstrate that GPR-GNN offers significant performance improvement compared to existing techniques on both synthetic and benchmark data.

研究の動機と目的

• 従来のGNNが固定バイアスを用いて同質性または異質性に偏るという制約を解消する。
• Generalized PageRank (GPR) を介してノード特徴とグラフトポロジーを適応的に融合させる普遍的なGNNアーキテクチャを開発する。
• エンドツーエンドで伝播重みを学習することで過平滑化を避けつつ深い伝播を可能にする。
• GPRと多項式グラフフィルタリングとの理論的関係を示し、実データセットと合成データセットの実用的性能を示す。

提案手法

• 最初に各ノードの潜在特徴をニューラルネットワークで抽出し、その後 learnable weights γ_k を用いた Generalized PageRank (GPR) でこれらの特徴を伝播させるGPR-GNNアーキテクチャを導入する。
• 伝播を H^(k) = Ã_sym H^(k-1) with H^(0) = f_θ(X) と表現し、γ_k が K 回の伝播ステップにわたる寄与を重み付け、Z = ∑_{k=0}^K γ_k H^(k) を得る。
• グラフの同質性/異質性に適応して正の重みと負の重みの両方を使えるよう、ネットワークパラメータ θ とともにGPR weights γ_kをエンドツーエンドで学習する。
• モデルを g_{γ,K}(Λ) という多項式グラフフィルタとして解釈し、 g_{γ,K}(λ) = ∑_{k=0}^K γ_k λ^k、低域/高域の挙動を分析可能にする。
• 非負で和が γ_k になる場合は低域フィルタを生み出し、負の γ_k を許すと異質性グラフに適した高域フィルタリングを生み出すこと、並びに適応的 γ_k が過平滑化を緩和することが理論的に示される（定理 4.1 および 4.2）。
• 合成的 contextual stochastic block model (cSBM) データと実世界データセットで、同質性/異質性の範囲にわたって評価し、標準的なGNNおよびPPRベース手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 適応的にGPR重みを学習するGNNは、異なるレベルの同質性と異質性を持つグラフに対して普遍的な性能を達成できるか。
• RQ2 学習されたGPR重みは、特徴伝播とトポロジ伝播のいずれが情報量的に重要であるかに関する解釈可能な洞察を提供するか。
• RQ3 適応的GPR重みは過平滑化を緩和し、性能を損なうことなくより深い伝播を可能にするか。
• RQ4 GPR-GNNは合成データセットのcSBMおよび実世界の同質性/異質性データセットで、最先端のベースラインと比べてどうなるか。

主な発見

Method	Cora	Citeseer	PubMed	Computers	Photo	Chameleon	Actor	Squirrel	Texas	Cornell
GPRGNN	79.51 ± 0.36	67.63 ± 0.38	85.07 ± 0.09	82.90 ± 0.37	91.93 ± 0.26	67.48 ± 0.40	39.30 ± 0.27	49.93 ± 0.53	92.92 ± 0.61	91.36 ± 0.70
APPNP	79.41 ± 0.38	68.59 ± 0.30	85.02 ± 0.09	81.99 ± 0.26	91.11 ± 0.26	51.91 ± 0.56	38.86 ± 0.24	34.77 ± 0.34	91.18 ± 0.70	91.80 ± 0.63
MLP	50.34 ± 0.48	52.88 ± 0.51	80.57 ± 0.12	70.48 ± 0.28	78.69 ± 0.30	46.72 ± 0.46	38.58 ± 0.25	31.28 ± 0.27	92.26 ± 0.71	91.36 ± 0.70
SGC	70.81 ± 0.67	58.98 ± 0.47	82.09 ± 0.11	76.27 ± 0.36	83.80 ± 0.46	63.02 ± 0.43	29.39 ± 0.20	43.14 ± 0.28	55.18 ± 1.17	47.80 ± 1.50
GCN	75.21 ± 0.38	67.30 ± 0.35	84.27 ± 0.01	82.52 ± 0.32	90.54 ± 0.21	60.96 ± 0.78	30.59 ± 0.23	45.66 ± 0.39	75.16 ± 0.96	66.72 ± 1.37
GAT	76.70 ± 0.42	67.20 ± 0.46	83.28 ± 0.12	81.95 ± 0.38	90.09 ± 0.27	63.9 ± 0.46	35.98 ± 0.23	42.72 ± 0.33	78.87 ± 0.86	76.00 ± 1.01
SAGE	70.89 ± 0.54	61.52 ± 0.44	81.30 ± 0.10	83.11 ± 0.23	90.51 ± 0.25	62.15 ± 0.42	36.37 ± 0.21	41.26 ± 0.26	79.03 ± 1.20	71.41 ± 1.24
JKNet	73.22 ± 0.64	60.85 ± 0.76	82.91 ± 0.11	77.80 ± 0.97	87.70 ± 0.70	62.92 ± 0.49	33.41 ± 0.25	44.72 ± 0.48	75.53 ± 1.16	66.73 ± 1.73
GCN-Cheby	71.39 ± 0.51	65.67 ± 0.38	83.83 ± 0.12	82.41 ± 0.28	90.09 ± 0.28	59.96 ± 0.51	38.02 ± 0.23	40.67 ± 0.31	86.08 ± 0.96	85.33 ± 1.04
GeomGCN	20.37 ± 1.13	20.30 ± 0.90	58.20 ± 1.23	NA	NA	61.06 ± 0.49	31.81 ± 0.24	38.28 ± 0.27	58.56 ± 1.77	55.59 ± 1.59

• GPR-GNNは合成cSBMデータ上で同質性–異質性スペクトル全体にわたりベースラインを上回り、特に異質性設定で顕著な利得を示す。
• 実世界のベンチマークでは、GPR-GNNは同質性データセットで最先端の結果を達成し、異質性データセットではAPPNP, SGC, GCN, GAT, JKNet, GCN-Cheby, SAGEと比較して大幅な改善を示す。
• 学習済みGPR重みは同質性データセットで正であり、異質性データセットでは負またはジグザグパターンを示し、高域フィルタリングに関する理論的期待と整合する。
• 乱択的なGPR初期化下でもモデルは頑健であり、特に密な分割で解釈性を持つ γ_k のパターンとして現れる。
• 必要に応じて高段階 γ_k の大きさを減らすことで過平滑化を回避でき、利益がある場合には有意義な大段階伝播を実現する。
• 固定重みのPPRベース手法と比較して、適応的 γ_k はグラフフィルタが低周波と高周波の両方を捉えるようにし、異質性を解決する。