[论文解读] Generative Diffusion Models on Graphs: Methods and Applications

Cheng-Yi Liu, Wenqi Fan+6 more|arXiv (Cornell University)|Feb 6, 2023

Bioinformatics and Genomic Networks被引用 8

一句话总结

对图上的生成扩散模型的全面综述，详细介绍 SMLD、DDPM 和 SGM 范式、它们在图上的适应，以及在分子与蛋白质建模中的应用。

ABSTRACT

Diffusion models, as a novel generative paradigm, have achieved remarkable success in various image generation tasks such as image inpainting, image-to-text translation, and video generation. Graph generation is a crucial computational task on graphs with numerous real-world applications. It aims to learn the distribution of given graphs and then generate new graphs. Given the great success of diffusion models in image generation, increasing efforts have been made to leverage these techniques to advance graph generation in recent years. In this paper, we first provide a comprehensive overview of generative diffusion models on graphs, In particular, we review representative algorithms for three variants of graph diffusion models, i.e., Score Matching with Langevin Dynamics (SMLD), Denoising Diffusion Probabilistic Model (DDPM), and Score-based Generative Model (SGM). Then, we summarize the major applications of generative diffusion models on graphs with a specific focus on molecule and protein modeling. Finally, we discuss promising directions in generative diffusion models on graph-structured data. For this survey, we also created a GitHub project website by collecting the supporting resources for generative diffusion models on graphs, at the link: https://github.com/ChengyiLIU-cs/Generative-Diffusion-Models-on-Graphs

研究动机与目标

• 提供对图上的生成扩散方法（SMLD、DDPM、SGM）的全面概述。
• 总结具有代表性的图扩散算法及其关键技术。
• 强调在分子与蛋白质建模中的主要应用，并讨论未来方向。

提出的方法

• 提出三种扩散范式（SMLD、DDPM、SGM）及其在图上的适配。
• 描述图特定的前向与逆向过程以及分数/边际估计方法。
• 讨论离散与连续扩散，以及用于图的等变/基于图的架构。
• 总结具有代表性的方法，如 EDP-GNN、ConfGF、Haefeli 等、DiGress、EDMs、GDSS、GSDM、GraphGDP，以及用于图的 SGGM 扩展。

实验结果

研究问题

• RQ1 用于图的主要扩散范式有哪些，它们如何适应图结构？
• RQ2 代表性的图扩散算法及其核心技术是什么？
• RQ3 在分子和蛋白质中，生成扩散模型在图上的关键应用有哪些？
• RQ4 对图结构数据的扩散模型未来有哪些有前景的方向？

主要发现

• 论文将图扩散方法分为 SMLD、DDPM 和 SGM，并总结了每一类的具有代表性的算法。
• 图扩散方法通过专门的前向/逆向过程与图神经网络架构来处理离散结构、复杂依赖和置换不变性。
• 应用聚焦于分子建模（构象生成、对接）和蛋白质建模，并存在大量的架构变体（等变、图变换器、能量引导）。
• 存在一个 GitHub 资源，汇编了用于图上扩散模型的支持材料。
• 若干进展将领域知识（能量函数、原子间力、等变性）以及自回归与一击生成策略进行了整合。