[论文解读] GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models

Jiaxuan You, Rex Ying+3 more|arXiv (Cornell University)|Feb 24, 2018

Graph Theory and Algorithms被引用 318

一句话总结

GraphRNN 训练自回归图生成器，逐节点、逐边构建图，使用 BFS 有序序列来建模复杂依赖，并在可扩展到更大规模图的同时实现最先进的图生成性能。

ABSTRACT

Modeling and generating graphs is fundamental for studying networks in biology, engineering, and social sciences. However, modeling complex distributions over graphs and then efficiently sampling from these distributions is challenging due to the non-unique, high-dimensional nature of graphs and the complex, non-local dependencies that exist between edges in a given graph. Here we propose GraphRNN, a deep autoregressive model that addresses the above challenges and approximates any distribution of graphs with minimal assumptions about their structure. GraphRNN learns to generate graphs by training on a representative set of graphs and decomposes the graph generation process into a sequence of node and edge formations, conditioned on the graph structure generated so far. In order to quantitatively evaluate the performance of GraphRNN, we introduce a benchmark suite of datasets, baselines and novel evaluation metrics based on Maximum Mean Discrepancy, which measure distances between sets of graphs. Our experiments show that GraphRNN significantly outperforms all baselines, learning to generate diverse graphs that match the structural characteristics of a target set, while also scaling to graphs 50 times larger than previous deep models.

研究动机与目标

• 直接从观测到的图数据学习图的生成模型，而不依赖强手工设计的假设。
• 将图生成分解为节点序列和边序列过程，使用共享的 RNN。
• 引入基于 BFS 的排序，以提高对不同大小图的可处理性和可扩展性。

提出的方法

• 在 BFS 排序下，将图表示为每个节点生成的邻接向量序列 S^π。
• 使用图级 RNN（GRU）生成节点，使用边级 RNN 生成该节点对前序节点的邻接关系。
• 提供两个 GraphRNN 变体：GraphRNN-S（Multivariate Bernoulli）和带分层 RNN 的完整 Dependent Bernoulli 序列。
• 采用基于 BFS 的排序来限定每个节点的边预测数量，并在实践中实现近似平方时间。
• 使用最大平均差异（MMD）框架对度分布、聚类和基元计数等分布进行评估。

实验结果

研究问题

• RQ1 深度自回归模型是否能够在没有固定节点集且图大小可变的情况下从数据中学习生成图？
• RQ2 基于 BFS 的排序是否能降低计算复杂性、提高图生成的可扩展性和性能？
• RQ3 在高阶统计量如度分布、聚类和基元方面，生成的图与真实图的相似程度如何？
• RQ4 所提出的模型是否在多种不同类型的图上具有泛化能力（类似网格、社区、蛋白质、自我网络等）？

主要发现

• GraphRNN 在各数据集上显著优于传统和最近的深度图生成基线。
• GraphRNN 相较基线在 MMD 上平均降低约 80-90%。
• 该方法的可扩展性达到比先前的深度模型大约 50 倍的图。
• GraphRNN-S 在蛋白质样最近邻图上表现强劲，其中边的依赖关系较简单。
• 该模型在训练集和测试集之间达到较小的负对数似然差距，表明良好的泛化能力。
• GraphRNN 在插值 Barabási-Albert 与 Erdős-Rényi 图结构时显示出鲁棒性。