[论文解读] Inductive Graph Representation Learning with Recurrent Graph Neural Networks

Binxuan Huang, Kathleen M. Carley|arXiv (Cornell University)|Apr 17, 2019

Advanced Graph Neural Networks参考文献 18被引用 5

一句话总结

本文提出循环图神经网络（RGNNs），这是一种新型图神经网络，通过在递归邻域聚合过程中使用循环单元来建模跨层的长期依赖关系。通过捕捉持久信息并过滤噪声，RGNNs在PubMed、Reddit和PPI基准测试中实现了最先进性能，实现了更深、更鲁棒的图表示学习。

ABSTRACT

In this paper, we study the problem of node representation learning with graph neural networks. We present a graph neural network class named recurrent graph neural network (RGNN), that address the shortcomings of prior methods. By using recurrent units to capture the long-term dependency across layers, our methods can successfully identify important information during recursive neighborhood expansion. In our experiments, we show that our model class achieves state-of-the-art results on three benchmarks: the Pubmed, Reddit, and PPI network datasets. Our in-depth analyses also demonstrate that incorporating recurrent units is a simple yet effective method to prevent noisy information in graphs, which enables a deeper graph neural network.

研究动机与目标

• 为解决现有图神经网络在邻域聚合过程中难以捕捉跨层长期依赖关系的局限性。
• 通过在多层间建模持久信息，提升在噪声图结构中的表示学习能力。
• 通过减轻递归消息传递过程中噪声或无关特征的传播，实现更深的图神经网络。
• 开发一种简单但高效的架构，在无需复杂修改的情况下提升基准图数据集上的性能。

提出的方法

• 所提出的RGNN框架在图神经网络中引入循环单元（如GRUs或LSTMs），以在各层之间保持隐藏状态。
• 这些循环单元在多层间聚合来自邻近节点的消息，使模型能够追踪并更新长期依赖关系。
• 每一层的隐藏状态通过结合当前消息与前一隐藏状态的递推机制进行更新。
• 最终的节点表示源自循环单元的最终隐藏状态，同时捕捉局部和长程结构信息。
• 该架构通过稳定信息流并减少反向传播过程中的梯度退化，支持更深的网络堆叠。
• 该方法端到端应用于节点分类任务，通过在图结构数据上的标准反向传播进行训练。

实验结果

研究问题

• RQ1 循环单元是否能在图神经网络的递归邻域聚合过程中有效建模长期依赖关系？
• RQ2 引入循环机制如何改善在噪声图结构中的表示学习？
• RQ3 循环GNN在不导致性能下降的情况下，能在多大程度上支持更深的架构？
• RQ4 所提出的RGNN框架是否在标准节点分类基准上优于现有GNN？

主要发现

• RGNN模型在PubMed、Reddit和PPI图基准数据集上实现了最先进性能。
• 使用循环单元显著减少了噪声特征在各层间的传播，提升了模型鲁棒性。
• 该模型通过稳定信息流并保留多层中的有意义信号，实现了更深的图神经网络。
• 实证分析证实，循环单元有助于模型在邻域扩展过程中识别并保留重要的结构模式。
• 该方法在多种图类型中均表现出一致的性能提升，包括引文网络、社交网络和蛋白质-蛋白质相互作用网络。
• 消融研究验证了循环机制是模型性能优越的关键因素。