[论文解读] Predict then Propagate: Graph Neural Networks meet Personalized PageRank

Johannes Gasteiger, Aleksandar Bojchevski+1 more|arXiv (Cornell University)|Oct 14, 2018

Advanced Graph Neural Networks被引用 431

一句话总结

本文提出 PPNP 及其快速变体 APPNP，通过使用个性化 PageRank 将预测与传播解耦，在大邻域内传播神经预测，以较少参数实现最先进的性能并实现高效训练。

ABSTRACT

Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, for classifying a node these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood is hard to extend. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct a simple model, personalized propagation of neural predictions (PPNP), and its fast approximation, APPNP. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be easily combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification in the most thorough study done so far for GCN-like models. Our implementation is available online.

研究动机与目标

• 动机：经典 GCN 仅使用较小的邻域，因过平滑而受限。
• 提出基于个性化 PageRank 的传播方案，在保持局部性的同时利用较大邻域。
• 使预测网络与传播机制解耦，以提高可扩展性和灵活性。
• 提供端到端可训练的模型，在多个图数据集上具有竞争力的精度和效率。

提出的方法

• 将图卷积网络与 PageRank 相关联，并扩展到带根节点传送向量的个性化 PageRank。
• 定义 PPNP，其中来自神经网络的节点预测通过个性化 PageRank 方案传播：Z_PPNP = softmax(alpha(I - (1-alpha)A_hat)^-1 H)。
• 引入 APPNP 作为一种可扩展的近似版本，使用幂迭代：Z^(0)=H; Z^(k+1)=(1-alpha)A_hat Z^(k) + alpha H; Z^(K)=softmax(...)。
• 使用传送概率 alpha 来控制局部性与全局影响，并实现非常深的有效传播而不发生过平滑。
• 端到端训练，其中 H 由神经网络 f_theta(X) 产生。
• 通过避免密集矩阵求逆并使传播与预测网络解耦来维持稀疏性。

实验结果

研究问题

• RQ1 基于 PageRank 的传播方案在使用大邻域进行节点分类的同时，是否能保持局部性？
• RQ2 将预测与传播解耦是否能在不牺牲准确性的前提下提高 GNN 的效率和可扩展性？
• RQ3 传送参数 alpha 以及传播步数 K 如何影响不同数据集上的性能？
• RQ4 APPNP 是否能以线性复杂度准确逼近 PPNP，并保持或提升准确性？
• RQ5 在预训练网络的训练、推理阶段，传播是否有益，还是两者都有效？

主要发现

模型	Citeseer	Cora-ML	PubMed	MS Academic
V. GCN	73.51±0.48	82.30±0.34	77.65±0.40	91.65±0.09
GCN	75.40±0.30	83.41±0.39	78.68±0.38	92.10±0.08
N-GCN	74.25±0.40	82.25±0.30	77.43±0.42	92.86±0.11
GAT	75.39±0.27	84.37±0.24	77.76±0.44	91.22±0.07
JK	73.03±0.47	82.69±0.35	77.88±0.38	91.71±0.10
Bt. FP	73.55±0.57	80.84±0.97	72.94±1.00	91.61±0.24
PPNP*	75.83±0.27	85.29±0.25	-	-
APPNP	75.73±0.30	85.09±0.25	79.73±0.31	93.27±0.08

• 在严格的评估协议下，PPNP 与 APPNP 在多个图数据集上持续优于多种最先进的类 GCN 模型。
• APPNP 以线性时间复杂度实现接近于 PPNP 的性能并保持图的稀疏性。
• 使用个性化 PageRank 的传播在标记节点较少、有效邻域较大时尤其能提升准确性。
• 模型保持具有竞争力的训练时间，APPNP 通常比更复杂的替代方案更快，且可扩展到更大的图。
• 经过全面的统计评估（100 次随机划分、Bootstrap 置信区间、配对 t 检验）支持相对于基线的性能提升。
• 推理阶段的传播在预测器在不使用图信息训练时也显著提高准确性。