[论文解读] Efficient Graph Generation with Graph Recurrent Attention Networks

Renjie Liao, Yujia Li+7 more|arXiv (Cornell University)|Oct 2, 2019

Advanced Graph Neural Networks被引用 173

一句话总结

GRAN 通过在区块中生成图并基于图神经网络的注意力来改善条件化，使用混合伯努利输出和规范顺序以实现高效且可扩展的图生成，支持到 5K 节点。

ABSTRACT

We propose a new family of efficient and expressive deep generative models of graphs, called Graph Recurrent Attention Networks (GRANs). Our model generates graphs one block of nodes and associated edges at a time. The block size and sampling stride allow us to trade off sample quality for efficiency. Compared to previous RNN-based graph generative models, our framework better captures the auto-regressive conditioning between the already-generated and to-be-generated parts of the graph using Graph Neural Networks (GNNs) with attention. This not only reduces the dependency on node ordering but also bypasses the long-term bottleneck caused by the sequential nature of RNNs. Moreover, we parameterize the output distribution per block using a mixture of Bernoulli, which captures the correlations among generated edges within the block. Finally, we propose to handle node orderings in generation by marginalizing over a family of canonical orderings. On standard benchmarks, we achieve state-of-the-art time efficiency and sample quality compared to previous models. Additionally, we show our model is capable of generating large graphs of up to 5K nodes with good quality. To the best of our knowledge, GRAN is the first deep graph generative model that can scale to this size. Our code is released at: https://github.com/lrjconan/GRAN.

研究动机与目标

• 开发一个可扩展的自回归图生成模型，在生成过程中利用图结构。
• 减少对节点排序的依赖以及先前基于RNN方法的长程序列瓶颈。
• 引入带注意力的分块生成机制，在生成速度与样本质量之间进行权衡。
• 通过伯努利输出混合来捕捉块内边的相关性。
• 从变分角度对一族规范排序进行边缘化，以处理节点排序。

提出的方法

• 通过一次生成下三角邻接矩阵 L^π 的 B 行块来生成图，每次产生一个块，生成步骤为 O(N)。
• 使用带有注意力信息的图神经网络来对当前块生成进行条件化，使其依赖已生成的子图。
• 用多跳GNN信息传递（R轮）表示每个块，以计算用于预测边的节点表示 h_i^R。
• 将块的输出分布建模为伯努利分布的混合，混合权重和边概率由成对节点表示计算。
• 对一族规范排序 Q（例如 DFS、BFS、k-core）进行边缘化，以通过变分解释近似 p(G) 的可处理下界。
• 提供块大小 B、步幅 S 来控制速度与质量的权衡，使用跨步采样使生成过程中块之间可以重叠。

实验结果

研究问题

• RQ1 自回归图生成器是否能够在条件化中利用图结构，以减少远程依赖并提升可扩展性？
• RQ2 与先前的 GraphRNN 类模型相比，以基于注意力的 GNN 条件化和混合输出来分块生成图是否同时提升样本质量与生成速度？
• RQ3 对一族规范排序进行边缘化如何影响大规模图的似然估计与生成性能？
• RQ4 块大小和步幅对 GRAN 的效率-质量权衡有哪些影响？
• RQ5 GRAN 是否能够扩展到大规模图（数千个节点），并保持竞争力的图统计量？

主要发现

• 在样本质量和效率方面超过标准基准上的前序模型，在可扩展自回归图生成器中达到最先进的结果。
• 分块生成将序列瓶颈从 O(N^2) 步骤降至 O(N) 步骤，使得能够生成数千节点的图。
• 带注意力的GNN条件化改善了生成部分与现有图之间的依赖建模，降低排序敏感性。
• 伯努利输出混合捕捉块内的边相关性，改善对复杂边模式的建模。
• 对所选一族规范排序进行边缘化可获得更好的对数似然近似，并有助于缓解置换问题，无需枚举所有排列。
• 跨步采样允许对生成速度与样本质量进行可调的权衡，较大的步幅在某些情况下会提高速度但会影响质量。