[论文解读] GraphRNN: A Deep Generative Model for Graphs

Jiaxuan You, Rex Ying+3 more|arXiv (Cornell University)|Feb 24, 2018

Advanced Graph Neural Networks参考文献 20被引用 61

一句话总结

GraphRNN 是一种深度自回归生成模型，通过基于不断演化的图结构条件建模节点和边的逐步形成过程，学习生成复杂图。它在匹配目标图分布方面优于所有基线模型，能够生成多样且结构准确的图，规模可达之前深度模型的50倍。

ABSTRACT

Modeling and generating graphs is fundamental for studying networks in biology, engineering, and social sciences. However, modeling complex distributions over graphs and then efficiently sampling from these distributions is challenging due to the non-unique, high-dimensional nature of graphs and the complex, non-local dependencies that exist between edges in a given graph. Here we propose GraphRNN, a deep autoregressive model that addresses the above challenges and approximates any distribution of graphs with minimal assumptions about their structure. GraphRNN learns to generate graphs by training on a representative set of graphs and decomposes the graph generation process into a sequence of node and edge formations, conditioned on the graph structure generated so far. In order to quantitatively evaluate the performance of GraphRNN, we introduce a benchmark suite of datasets, baselines and novel evaluation metrics based on Maximum Mean Discrepancy, which measure distances between sets of graphs. Our experiments show that GraphRNN significantly outperforms all baselines, learning to generate diverse graphs that match the structural characteristics of a target set, while also scaling to graphs 50 times larger than previous deep models.

研究动机与目标

• 解决具有非局部边依赖关系的复杂高维图分布建模挑战。
• 在无需强结构假设的前提下，实现从学习到的图分布中高效采样。
• 开发一种可扩展的深度生成模型，能够生成匹配目标结构特征的多样化图。
• 引入一个全面的基准测试套件及新型评估指标，用于图生成任务。

提出的方法

• GraphRNN 将图生成建模为一个序列过程，每一步都基于部分构建的图进行条件建模。
• 采用基于 RNN 的架构来建模节点和边添加的顺序，捕捉长程依赖关系。
• 将图生成分解为两个阶段：首先生成节点顺序，然后根据当前图结构逐步添加边。
• 采用分层自回归方法以降低方差并提高训练稳定性。
• 在一组代表性图上端到端训练模型，以学习底层分布。
• 评估使用最大均值差异（MMD）指标，量化生成图与真实图之间的分布相似性。

实验结果

研究问题

• RQ1 深度生成模型是否能在无需强结构假设的前提下，学习图结构中的复杂非局部依赖关系？
• RQ2 序列自回归模型在多大程度上能够重建真实世界图的结构特征？
• RQ3 与以往的深度生成方法相比，此类模型在扩展至更大规模图方面的能力如何？
• RQ4 基于 MMD 的指标在评估生成图分布质量方面是否有效？

主要发现

• GraphRNN 在匹配目标图分布的结构特征方面显著优于所有基线模型。
• 该模型生成的图具有多样性，在基于 MMD 的评估指标下与真实图无法区分。
• GraphRNN 可扩展至比之前深度生成模型处理的图大50倍的规模。
• 与平面序列模型相比，分层自回归设计显著提升了训练稳定性和生成质量。
• 包含基于 MMD 指标的基准测试套件，实现了图生成模型之间可靠且量化的比较。
• 该模型成功捕捉了对真实图生成至关重要的复杂非局部依赖关系。