[论文解读] A Survey on Graph Diffusion Models: Generative AI in Science for Molecule, Protein and Material

Mengchun Zhang, Maryam Qamar+5 more|arXiv (Cornell University)|Jan 1, 2023

Bioinformatics and Genomic Networks被引用 26

一句话总结

本综述全面概述了生成式人工智能中用于科学应用的图扩散模型，重点聚焦于分子、蛋白质和材料的生成。综述涵盖了图生成的基础方法，详细阐述了图上扩散模型的机制，并评估了其在科学人工智能中的性能、挑战及开放性研究问题。

ABSTRACT

Diffusion models have become a new SOTA generative modeling method in various fields, for which there are multiple survey works that provide an overall survey. With the number of articles on diffusion models increasing exponentially in the past few years, there is an increasing need for surveys of diffusion models on specific fields. In this work, we are committed to conducting a survey on the graph diffusion models. Even though our focus is to cover the progress of diffusion models in graphs, we first briefly summarize how other generative modeling methods are used for graphs. After that, we introduce the mechanism of diffusion models in various forms, which facilitates the discussion on the graph diffusion models. The applications of graph diffusion models mainly fall into the category of AI-generated content (AIGC) in science, for which we mainly focus on how graph diffusion models are utilized for generating molecules and proteins but also cover other cases, including materials design. Moreover, we discuss the issue of evaluating diffusion models in the graph domain and the existing challenges.

研究动机与目标

• 为应对在图结构化数据中，特别是科学领域内，对扩散模型专项综述日益增长的需求。
• 系统性回顾基于自回归、变分自编码器（VAE）、生成对抗网络（GAN）以及特别是扩散模型的图生成技术。
• 使用标准化指标评估图扩散模型在生成分子、蛋白质和材料方面的性能。
• 识别并讨论关键挑战，如可扩展性、不规则图结构、评估标准以及图扩散建模的可解释性。
• 为研究人员指明在将扩散模型应用于科学图生成任务时的开放性问题与未来研究方向。

提出的方法

• 回顾先前的图生成方法，包括自回归模型（如 GraphRNN）、变分自编码器（VAEs）、归一化流以及生成对抗网络（GANs），并强调其在捕捉结构不变性方面的局限性。
• 介绍扩散模型的核心机制，包括前向去噪过程与反向去噪过程、基于得分的建模以及去噪得分匹配。
• 通过定义节点与边的噪声调度，将扩散建模应用于图数据，并在图结构上采用基于得分的生成建模。
• 采用统一的图生成框架，通过潜在空间中的迭代去噪过程，对节点与边的联合分布进行建模。
• 利用图神经网络（GNNs）估计反向扩散过程中的得分函数，从而实现端到端训练。
• 使用统计指标（如 KLD、MMD）、基于分类器的指标（如 FID）以及任务特定指标（如有效性、唯一性与新颖性）对模型进行评估。

实验结果

研究问题

• RQ1 与传统图生成方法（如 VAEs、GANs、自回归模型）相比，扩散模型在生成真实分子与蛋白质图方面表现如何？
• RQ2 哪些关键的架构与训练组件使得在不规则、可变大小的图上实现有效的图扩散建模成为可能？
• RQ3 如何有意义地应用有效性、唯一性与新颖性等评估指标，以评估生成的科学图的质量？
• RQ4 在将扩散模型应用于大规模或高度不规则图时，主要的可扩展性与结构挑战是什么？
• RQ5 扩散模型在多大程度上能够生成多样化、化学上有效且具有功能相关性的分子与材料？

主要发现

• 图扩散模型在生成多样化且化学上有效的分子方面优于传统方法，部分模型报告的有效性率超过 95%。
• 基于得分的生成建模方法能够通过学习复杂且高阶的依赖关系，实现分子与蛋白质结构的高保真度生成。
• 使用 FID 与基于分类器的指标评估表明，扩散模型生成的图在潜在空间中与真实图具有高度相似性。
• 尽管性能表现强劲，当前的扩散模型仍面临可扩展性问题，主要源于反向采样过程中的二次复杂度，尤其在大规模图上更为显著。
• 缺乏通用评估指标仍是关键挑战，因为统计指标与基于分类器的指标并不总能与下游化学或生物学实用性相关联。
• 图扩散中得分函数的可解释性仍然有限，使得在科学背景下分析或调试模型行为变得困难。