[论文解读] Adaptive Universal Generalized PageRank Graph Neural Network

Eli Chien, Jianhao Peng+2 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Graph Neural Networks参考文献 56被引用 93

一句话总结

GPR-GNN 自适应地学习 Generalized PageRank 权重，以联合利用节点特征和图结构，在同质性与异质性图上都表现出色，并在不牺牲深度的前提下缓解过平滑。

ABSTRACT

In many important graph data processing applications the acquired information includes both node features and observations of the graph topology. Graph neural networks (GNNs) are designed to exploit both sources of evidence but they do not optimally trade-off their utility and integrate them in a manner that is also universal. Here, universality refers to independence on homophily or heterophily graph assumptions. We address these issues by introducing a new Generalized PageRank (GPR) GNN architecture that adaptively learns the GPR weights so as to jointly optimize node feature and topological information extraction, regardless of the extent to which the node labels are homophilic or heterophilic. Learned GPR weights automatically adjust to the node label pattern, irrelevant on the type of initialization, and thereby guarantee excellent learning performance for label patterns that are usually hard to handle. Furthermore, they allow one to avoid feature over-smoothing, a process which renders feature information nondiscriminative, without requiring the network to be shallow. Our accompanying theoretical analysis of the GPR-GNN method is facilitated by novel synthetic benchmark datasets generated by the so-called contextual stochastic block model. We also compare the performance of our GNN architecture with that of several state-of-the-art GNNs on the problem of node-classification, using well-known benchmark homophilic and heterophilic datasets. The results demonstrate that GPR-GNN offers significant performance improvement compared to existing techniques on both synthetic and benchmark data.

研究动机与目标

• 解决传统 GNN 依赖对同质性或异质性的固定偏置所带来的局限性。
• 开发一个通用 GNN 架构，通过 Generalized PageRank (GPR) 自适应地将节点特征与图拓扑融合。
• 通过端到端学习传播权重，实现深度传播而不发生过平滑。
• 提供将 GPR 与多项式图滤波联系起来的理论见解，并在合成数据集和真实数据集上展示实际性能。

提出的方法

• 引入 GPR-GNN 架构，首先通过神经网络从每个节点提取隐藏特征，然后使用具有可学习权重 γ_k 的 Generalized PageRank (GPR) 对这些特征进行传播。
• 将传播表示为 H^(k) = Ã_sym H^(k-1)，其中 H^(0) = f_θ(X)，其中 γ_k 对 K 次传播的贡献进行加权，Z = ∑_{k=0}^K γ_k H^(k)。
• 端到端地与网络参数 θ 一起学习 GPR 权重 γ_k，使正权重和负权重能够根据图的同质性/异质性进行自适应。
• 将模型解读为多项式图滤波器 g_{γ,K}(Λ)，其中 g_{γ,K}(λ) = ∑_{k=0}^K γ_k λ^k，能够分析低通和高通行为。
• 理论结果表明非负、和为1的 γ_k 会产生低通滤波器，而允许负 γ_k 则会产生适用于异质性图的高通滤波，并且自适应 γ_k 能缓解过平滑（定理 4.1 与 4.2）。
• 在合成的上下文随机布设分块模型（cSBM）数据和真实数据集上进行实验评估，覆盖同质性和异质性场景；与标准 GNN 和基于 PPR 的方法进行对比。

实验结果

研究问题

• RQ1 一个能够自适应学习 GPR 权重的 GNN 是否能够在具有不同同质性与异质性水平的图上实现通用性能？
• RQ2 学习到的 GPR 权重是否为何时以特征传播比拓扑传播更有信息提供了可解释的见解？
• RQ3 自适应 GPR 权重是否可以缓解过平滑并允许在不损失性能的前提下进行更深的传播？
• RQ4 与固定权重的基于 PPR 的方法相比，GPR-GNN 在合成 cSBM 基准和真实的同质性/异质性数据集上相对于最先进基线的表现如何？

主要发现

方法	Cora	Citeseer	PubMed	Computers	Photo	Chameleon	Actor	Squirrel	Texas	Cornell
GPRGNN	79.51 ± 0.36	67.63 ± 0.38	85.07 ± 0.09	82.90 ± 0.37	91.93 ± 0.26	67.48 ± 0.40	39.30 ± 0.27	49.93 ± 0.53	92.92 ± 0.61	91.36 ± 0.70
APPNP	79.41 ± 0.38	68.59 ± 0.30	85.02 ± 0.09	81.99 ± 0.26	91.11 ± 0.26	51.91 ± 0.56	38.86 ± 0.24	34.77 ± 0.34	91.18 ± 0.70	91.80 ± 0.63
MLP	50.34 ± 0.48	52.88 ± 0.51	80.57 ± 0.12	70.48 ± 0.28	78.69 ± 0.30	46.72 ± 0.46	38.58 ± 0.25	31.28 ± 0.27	92.26 ± 0.71	91.36 ± 0.70
SGC	70.81 ± 0.67	58.98 ± 0.47	82.09 ± 0.11	76.27 ± 0.36	83.80 ± 0.46	63.02 ± 0.43	29.39 ± 0.20	43.14 ± 0.28	55.18 ± 1.17	47.80 ± 1.50
GCN	75.21 ± 0.38	67.30 ± 0.35	84.27 ± 0.01	82.52 ± 0.32	90.54 ± 0.21	60.96 ± 0.78	30.59 ± 0.23	45.66 ± 0.39	75.16 ± 0.96	66.72 ± 1.37
GAT	76.70 ± 0.42	67.20 ± 0.46	83.28 ± 0.12	81.95 ± 0.38	90.09 ± 0.27	63.9 ± 0.46	35.98 ± 0.23	42.72 ± 0.33	78.87 ± 0.86	76.00 ± 1.01
SAGE	70.89 ± 0.54	61.52 ± 0.44	81.30 ± 0.10	83.11 ± 0.23	90.51 ± 0.25	62.15 ± 0.42	36.37 ± 0.21	41.26 ± 0.26	79.03 ± 1.20	71.41 ± 1.24
JKNet	73.22 ± 0.64	60.85 ± 0.76	82.91 ± 0.11	77.80 ± 0.97	87.70 ± 0.70	62.92 ± 0.49	33.41 ± 0.25	44.72 ± 0.48	75.53 ± 1.16	66.73 ± 1.73
GCN-Cheby	71.39 ± 0.51	65.67 ± 0.38	83.83 ± 0.12	82.41 ± 0.28	90.09 ± 0.28	59.96 ± 0.51	38.02 ± 0.23	40.67 ± 0.31	86.08 ± 0.96	85.33 ± 1.04
GeomGCN	20.37 ± 1.13	20.30 ± 0.90	58.20 ± 1.23	NA	NA	61.06 ± 0.49	31.81 ± 0.24	38.28 ± 0.27	58.56 ± 1.77	55.59 ± 1.59

• GPR-GNN 在合成的 cSBM 数据上跨越同质性到异质性的光谱范围内超越基线，尤其在异质性设置中获得显著提升。
• 在真实数据集基准上，GPR-GNN 在同质数据集上达到最先进的结果，在异质数据集上相较 APPNP、SGC、GCN、GAT、JKNet、GCN-Cheby、SAGE 等方法有显著改进。
• 在同质性数据集上学习到的 GPR 权重为正，在异质性数据集上呈现负值/zig-zag 形态，与理论关于高通滤波的预期相符。
• 模型在随机初始化 GPR 时仍然鲁棒，尤其在密集划分中，并通过学习到的 γ_k 模式显现可解释性。
• GPR-GNN 通过在必要时减小高步长 γ_k 的幅度来避免过平滑，从而在对有利时实现信息丰富的大步传播。
• 与固定权重的基于 PPR 的方法相比，自适应 γ_k 使图滤波器能够同时捕捉低频和高频成分，解决异质性问题。