[论文解读] Graph Generation with Variational Recurrent Neural Network

Shih-Yang Su, Hossein Hajimirsadeghi+1 more|arXiv (Cornell University)|Oct 2, 2019

Topic Modeling参考文献 21被引用 17

一句话总结

本文提出 GraphVRNN，一种变分循环神经网络，通过基于序列的自回归 VAE 框架，联合建模图结构与节点属性。通过引入可学习先验和变分推断，GraphVRNN 在建模复杂图分布及生成真实图结构与属性方面达到最先进性能，尤其在大规模和异构数据集上表现优异。

ABSTRACT

Generating graph structures is a challenging problem due to the diverse representations and complex dependencies among nodes. In this paper, we introduce Graph Variational Recurrent Neural Network (GraphVRNN), a probabilistic autoregressive model for graph generation. Through modeling the latent variables of graph data, GraphVRNN can capture the joint distributions of graph structures and the underlying node attributes. We conduct experiments on the proposed GraphVRNN in both graph structure learning and attribute generation tasks. The evaluation results show that the variational component allows our network to model complicated distributions, as well as generate plausible structures and node attributes.

研究动机与目标

• 为解决现有图生成模型在捕捉图结构与节点属性复杂、高维分布方面的局限性。
• 通过引入变分自编码器（VAE）扩展 GraphRNN 框架，以建模潜在因子并提升生成能力，同时保持可扩展性。
• 通过基于BFS的序列生成方案，在条件变分自编码器（CVAE）框架下实现图结构与节点属性分布的联合学习。
• 评估模型生成合理、多样化图结构以及准确逼近复杂属性分布的能力，尤其在大规模和异构设置下。

提出的方法

• 使用广度优先搜索（BFS）排列将图映射为序列，以支持自回归生成并提升可扩展性。
• 采用带有潜在变量 $ z_i $ 的条件变分自编码器（CVAE）来建模联合分布 $ p(S^ au, X^ au) $，其中 $ S^ au $ 为边序列，$ X^ au $ 为属性序列。
• 使用识别网络 $ q_ heta(z_i | S_{\bullet}^\tau, X_{\bullet}^\tau) $ 推断潜在编码，使用先验网络 $ p_\theta(z_i | S_{<i}^\tau, X_{<i}^\tau) $ 建模潜在变量的先验分布。
• 通过优化变分下界（ELBO），包含重构损失与后验与先验之间的KL散度项，其中超参数 $ \beta $ 控制两者之间的权衡。
• 将解码器解耦为两个分支：一个用于预测边连接 $ S_i^\tau $，另一个用于在潜在编码和先前隐藏状态的条件下生成节点属性 $ X_i^\tau $。
• 在节点级RNN之间共享权重，以保持参数效率并支持端到端训练。

实验结果

研究问题

• RQ1 变分循环模型是否能比确定性模型（如 GraphRNN）更有效地联合捕捉图结构与节点属性之间的复杂依赖？
• RQ2 引入可学习先验网络在建模复杂图分布（尤其是大规模或异构图）方面有何改进？
• RQ3 变分组件在多大程度上增强了模型生成多样化且真实图结构与属性分布的能力？
• RQ4 GraphVRNN 的性能对超参数 $ \beta $ 的敏感度如何，特别是在属性生成与结构学习任务之间？

主要发现

• 在 Com-mix 数据集上，GraphVRNN 的度数 MMD（最大均值差异）显著更低，表明其在建模复杂内部连接概率方面优于 GraphRNN 和 GraphVRNN-nlp。
• 在 Com-attr 数据集上，当 $ \beta = 0.5 $ 时，GraphVRNN 将全图属性分布的地球移动距离（EMD）降低至 0.113，优于 GraphRNN（0.460）和 GraphVRNN-nlp（0.290），表明其对属性分布的逼近能力更强。
• GraphVRNN 在结构学习任务中对 $ \beta $ 不敏感，表明其在不同正则化强度下均保持稳定性能。
• 将 $ \beta $ 放松至 0.5 可提升属性生成性能，尤其在 Com2 上，EMD 降至 0.095，表明更灵活的先验有助于提升分布建模能力。
• 与 GraphRNN 相比，GraphVRNN 生成的属性分布更真实，后者因确定性推理而趋向模式坍塌，如生成属性的密度图所示。
• 该模型在更大规模图（最多 60 个节点）上仍保持强大性能，表明其在复杂、大规模场景下的可扩展性与鲁棒性。