[论文解读] Combining Neural Networks with Personalized PageRank for Classification on Graphs

Johannes Klicpera, Aleksandar Bojchevski+1 more|arXiv (Cornell University)|Oct 14, 2018

Advanced Graph Neural Networks被引用 52

一句话总结

本文提出 PPNP 和 APPNP，这两种模型通过将神经网络与个性化 PageRank 相结合，利用可调节的大范围邻域来提升图分类性能。通过用基于 PageRank 的传播机制替代标准的消息传递方式，该方法在训练时间与参数数量相当或更低的情况下，实现了最先进的性能表现，在全面的评估中优于近期的 GCN 类模型。

ABSTRACT

Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, for classifying a node these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood is hard to extend. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct a simple model, personalized propagation of neural predictions (PPNP), and its fast approximation, APPNP. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be easily combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification in the most thorough study done so far for GCN-like models. Our implementation is available online.

研究动机与目标

• 解决现有图神经网络感受野受限的问题，即仅考虑少数传播步长内的节点。
• 通过扩展用于消息传递的邻域范围，提升图结构数据的分类性能。
• 开发一种方法，在保持低训练时间与参数数量的同时，实现灵活且大规模的邻域聚合。
• 构建一个与任何神经网络架构兼容的图分类框架。
• 提供全面的实证评估，将所提方法与近期基于 GCN 的模型进行比较。

提出的方法

• 该方法通过揭示图卷积网络（GCN）与个性化 PageRank 之间的联系，设计了一种新型传播机制。
• 提出个性化神经预测传播（PPNP），利用完整的个性化 PageRank 矩阵在图中传播预测结果。
• 通过将完整 PageRank 矩阵替换为定点迭代，提出一种快速近似方法 APPNP，从而降低计算成本。
• 将传播步骤整合进神经网络框架，支持与任意神经网络架构结合的端到端训练。
• 通过利用个性化 PageRank 的平稳分布，实现大范围且可调节的感受野。
• 模型通过标准反向传播进行训练，传播步骤通过 PageRank 公式实现可微分。

实验结果

研究问题

• RQ1 图神经网络模型是否可以通过使用比标准 GCN 消息传递更广泛、更灵活的邻域，实现更优性能？
• RQ2 用个性化 PageRank 传播替代标准消息传递，是否能在半监督节点分类任务中提升泛化能力？
• RQ3 所提方法是否能在保持低训练时间与参数数量的同时，超越最先进的 GCN 类模型？
• RQ4 与现有方法相比，该模型在邻域大小与图大小方面如何扩展？
• RQ5 该方法在具有不同结构与稀疏性的多样化图数据集上是否具备鲁棒性与有效性？

主要发现

• PPNP 和 APPNP 在多个基准数据集的半监督节点分类任务中实现了最先进性能。
• 在迄今为止最全面的评估中，该模型优于多款近期提出的 GCN 类模型。
• 尽管使用了更大的邻域，PPNP 和 APPNP 的训练时间与先前模型相当或更快。
• PPNP 和 APPNP 的参数数量与竞争模型相当或更少，确保了高效性。
• APPNP 在性能上接近 PPNP 的同时，显著提升了速度，适用于大规模图。
• 该方法通过利用个性化 PageRank 有效捕捉长距离依赖关系，展现出强大的泛化能力。