[论文解读] Graph Deconvolutional Generation

Daniel Flam-Shepherd, Tony Wu+1 more|arXiv (Cornell University)|Feb 14, 2020

Advanced Graph Neural Networks参考文献 26被引用 13

一句话总结

该论文提出消息传递图变分自编码器（MPGVAE），将消息传递神经网络（MPNN）集成到图变分自编码器（GVAE）的编码器和解码器中，以提升分子图生成性能。通过用图神经网络替代GVAE中的多层感知机解码器，MPGVAE能够捕捉边相关性和结构依赖性，在有效性、唯一性和分布匹配方面表现更优——在无需昂贵图匹配的情况下，生成的新型、有效且唯一的分子数量比GVAE高出300%。

ABSTRACT

Graph generation is an extremely important task, as graphs are found throughout different areas of science and engineering. In this work, we focus on the modern equivalent of the Erdos-Renyi random graph model: the graph variational autoencoder (GVAE). This model assumes edges and nodes are independent in order to generate entire graphs at a time using a multi-layer perceptron decoder. As a result of these assumptions, GVAE has difficulty matching the training distribution and relies on an expensive graph matching procedure. We improve this class of models by building a message passing neural network into GVAE's encoder and decoder. We demonstrate our model on the specific task of generating small organic molecules

研究动机与目标

• 解决图变分自编码器（GVAE）在匹配训练分布和生成有效分子图方面的局限性，原因在于其假设边和节点相互独立。
• 通过在编码器和解码器中引入消息传递神经网络（MPNN），改进GVAE对图结构数据的归纳偏置。
• 通过实现更优的结构建模，消除分子图生成中对昂贵图匹配程序的依赖。
• 与现有方法（如GVAE、MolGAN和GrammarVAE）相比，实现更优的生成性能，包括生成有效、唯一且新颖的分子图。
• 在连续（QED、logP、SA）和离散（原子数和环数）分子统计上，展示更优的分布匹配能力。

提出的方法

• 将消息传递神经网络（MPNN）集成到变分自编码器（VAE）的编码器和解码器中，用于图生成。
• 使用图级别读出函数，通过T轮传播步骤后，从节点嵌入生成潜在表示。
• 采用set2vec和vec2set架构，从节点特征聚合并重建图级别表示。
• 应用变分推断框架，对潜在空间使用高斯先验，并通过识别网络推断后验分布。
• 使用通过学习的MPNN生成边和节点特征的解码器，实现边相关性的建模。
• 采用条件生成设置，将标签向量（如原子直方图）与节点特征拼接，实现可控生成。

实验结果

研究问题

• RQ1 在GVAE的编码器和解码器中集成消息传递神经网络，是否能在不依赖图匹配的情况下提升分子图生成性能？
• RQ2 与GVAE及其他基线模型相比，所提出的MPGVAE模型在连续和离散统计上是否更准确地捕捉了分子图的训练分布？
• RQ3 与GVAE、MolGAN和GrammarVAE相比，MPGVAE在生成分子的有效性、唯一性和新颖性方面提升了多少？
• RQ4 在条件生成任务中，MPGVAE是否能实现更高的准确性，使生成的分子匹配指定的原子直方图？
• RQ5 在解码器中使用MPNN是否能比原始GVAE的MLP解码器更好地建模结构依赖性和边相关性？

主要发现

• MPGVAE从10,000个先验样本中生成了3,341个有效、唯一且新颖的分子，较GVAE的1,185个分子高出300%。
• MPGVAe在有效性（91%）、唯一性（68%）和新颖性（54%）方面表现优于GVAE（81%、24%、61%）和MolGAN（98%、10%、94%），实现更均衡的性能。
• MPGVAE在QED、logP和SA得分上的生成分布与QM9训练数据高度匹配，优于GVAE和MolGAN的分布匹配效果。
• 在条件生成中，MPGVAE实现89%的有效性和67%的准确性，显著优于GVAE的57%有效性和47%准确性。
• MPGVAE成功捕捉了离散统计特征（如环数和原子数），其堆叠直方图与QM9训练分布更接近，优于基线模型。
• 视觉检查表明，MPGVAE生成的分子更具化学合理性，且无孤立骨架，而MolGAN和GrammarVAE则存在此类问题。