[论文解读] Autoregressive Diffusion Model for Graph Generation

Lingkai Kong, Jiaming Cui+4 more|arXiv (Cornell University)|Jul 17, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出 GraphArm，首个在离散图空间中通过节点吸收扩散过程直接运行的自回归扩散模型。通过学习数据相关的节点排序并使用自回归去噪，其在采样速度显著快于先前基于扩散的方法的同时，实现了最先进的生成质量，并支持约束感知生成。

ABSTRACT

Diffusion-based graph generative models have recently obtained promising results for graph generation. However, existing diffusion-based graph generative models are mostly one-shot generative models that apply Gaussian diffusion in the dequantized adjacency matrix space. Such a strategy can suffer from difficulty in model training, slow sampling speed, and incapability of incorporating constraints. We propose an \emph{autoregressive diffusion} model for graph generation. Unlike existing methods, we define a node-absorbing diffusion process that operates directly in the discrete graph space. For forward diffusion, we design a \emph{diffusion ordering network}, which learns a data-dependent node absorbing ordering from graph topology. For reverse generation, we design a \emph{denoising network} that uses the reverse node ordering to efficiently reconstruct the graph by predicting the node type of the new node and its edges with previously denoised nodes at a time. Based on the permutation invariance of graph, we show that the two networks can be jointly trained by optimizing a simple lower bound of data likelihood. Our experiments on six diverse generic graph datasets and two molecule datasets show that our model achieves better or comparable generation performance with previous state-of-the-art, and meanwhile enjoys fast generation speed.

研究动机与目标

• 为解决现有单次采样扩散基图生成模型的局限性，包括采样速度慢、约束处理能力差以及依赖连续去量化的问题。
• 开发一种直接在离散图空间中运行的扩散过程，避免因去量化导致的分布失真。
• 通过学习数据相关的节点吸收排序，捕捉结构规律，实现高效自回归图生成。
• 通过图的排列不变性，联合训练扩散排序网络与去噪网络，利用似然的变分下界。
• 在多种图数据集（包括分子和社交网络）上展示改进的生成速度与性能。

提出的方法

• 提出一种节点吸收自回归扩散过程，按顺序逐个移除一个节点（及其边），直接在离散图空间中运行。
• 引入扩散排序网络，基于图拓扑学习数据相关的节点排序，提升似然近似与训练稳定性。
• 设计反向去噪网络，通过利用已生成节点预测每个新节点的类型与连接关系，实现自回归图重建。
• 使用数据似然的变分下界，通过强化学习与梯度下降联合训练扩散排序与去噪网络。
• 使用多项式分布混合模型对边预测进行建模，以在自回归生成过程中捕捉边之间的依赖关系。
• 利用图的排列不变性简化训练，并确保反向过程使用学习到的排序的精确反向。

Figure 1: The autoregressive graph diffusion process. In the forward pass, the nodes are autoregressively decayed into the absorbing states, dictated by an ordering generated by the diffusion ordering network $q_{\phi}(\sigma|G_{0})$ . In the reverse pass, the generator network $p_{\theta}(G_{t}|G_{

实验结果

研究问题

• RQ1 基于扩散的图生成模型能否直接在离散图空间中运行而无需去量化，从而提升训练稳定性和生成保真度？
• RQ2 在扩散过程中学习数据相关的节点排序，是否相比随机排序能带来更好的生成质量与更快的收敛速度？
• RQ3 在离散图空间中采用自回归扩散是否能实现高效、约束感知的图生成，而这是单次采样扩散模型难以实现的？
• RQ4 通过变分下界联合训练扩散排序网络与去噪网络，对模型性能与训练效率有何影响？
• RQ5 所学习的节点排序在具有相似结构特性的图之间，其泛化能力如何？

主要发现

• GraphArm 在六个通用图数据集和两个分子数据集上达到最先进或具有竞争力的性能，其生成质量优于先前的基于扩散的模型。
• 在 Caveman 数据集中，GraphArm 实现 100% 的有效性，度分值为 0.176，聚类分值为 0.157，轨道分值为 0.144，优于 OM 与 GRAN。
• 在 Community-small 数据集中，GraphArm 平均跨簇节点转移次数为 2.6，显著低于 OA-ARDM 的 5.6，表明其生成具有更高的结构一致性。
• GraphArm 学习到的扩散排序可实现更连贯的生成过程：先生成一个社区，再生成另一个；而使用随机排序的 OA-ARDM 无法捕捉此类结构。
• 由于自回归特性，GraphArm 的采样速度远快于先前的单次采样扩散模型，其步数等于节点数，而非长序列的噪声步骤。
• 消融实验确认，学习到的扩散排序至关重要：OA-ARDM 若使用随机排序，性能显著下降，尤其在结构连贯性与约束满足方面。

Figure 2: The generation procedure at step $t$ with the denoising network $p_{\theta}(G_{t}|G_{t+1})$ . The denoising network predicts the node type of node $v_{\sigma_{t}}$ and its edges with all previously denoised nodes.